CN110177266B - 一种结构光3d深度相机的自校正方法及装置 - Google Patents

一种结构光3d深度相机的自校正方法及装置 Download PDF

Info

Publication number
CN110177266B
CN110177266B CN201811540465.0A CN201811540465A CN110177266B CN 110177266 B CN110177266 B CN 110177266B CN 201811540465 A CN201811540465 A CN 201811540465A CN 110177266 B CN110177266 B CN 110177266B
Authority
CN
China
Prior art keywords
block
image
offset
matching
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811540465.0A
Other languages
English (en)
Other versions
CN110177266A (zh
Inventor
葛晨阳
谢艳梅
姚慧敏
周炳
张康铎
左龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rgbdsense Information Technology Ltd
Xian Jiaotong University
Original Assignee
Rgbdsense Information Technology Ltd
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rgbdsense Information Technology Ltd, Xian Jiaotong University filed Critical Rgbdsense Information Technology Ltd
Publication of CN110177266A publication Critical patent/CN110177266A/zh
Application granted granted Critical
Publication of CN110177266B publication Critical patent/CN110177266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本公开提出了一种结构光3D深度相机的自校正方法及装置，将由于激光编码图形投射器光轴与图像接收传感器光轴发生变化，通过获取输入编码图像相对参考编码图像中图像块的偏移量，通过变化的偏移量反向上下调整参考编码图像的位置，使输入编码图像中心与参考编码图像中心能形成一个自反馈调节闭环系统，从而实现输入编码图像和参考编码图像在光轴发生较大范围变动时始终能找到最优匹配关系。进一步地，还可以根据校正后的偏移量进行深度计算。与现有技术相比，本公开的方法和装置可以解决激光编码图形投射器和图像接收传感器光轴发生变化所导致的深度精度下降、误匹配噪声增加等问题，实现结构光深度相机的实时自校正，提高深度相机的鲁棒性。

Description

一种结构光3D深度相机的自校正方法及装置
技术领域
本发明属于图像处理、计算机视觉和人工智能技术领域，具体涉及结构光3D深度相机的自校正方法及装置。
背景技术
方便快捷的对场景或物体进行三维重建是近来研究的热点，越来越多的三维成像技术不断涌现，为了获取真实的三维图像，需要计算场景或物体的深度信息，也就是深度感知。深度感知技术是三维重建的核心技术，在机器视觉、人机交互、3D打印、虚拟现实、智能手机等领域有着广泛的应用和发展前景。
在现有的深度感知技术中基于结构光编解码的深度感知技术可以获取较为准确的深度信息，且不受环境光的影响、算法和硬件实现相对简单便捷。它通过红外激光投射固定的图像到物体表面，经物体表面的反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知芯片计算获得物体的深度信息。基于结构光编解码技术研制的3D深度相机，其立体匹配过程较为简单、计算量小，但要获得高精度的深度信息，对装配精度提出很高要求，在使用过程中如发生跌落、摔碰等情况可能导致激光图形投射器或图像传感器的光轴发生偏移，从而导致深度精度下降、误匹配噪声增加等问题。尤其是嵌入到智能手机的结构光3D深度相机，用户在使用手机过程中难免会发生摔落、碰撞、敲打等，很容易导致结构光深度相机的光轴发生扭曲，如何解决这种光轴变化所带来的精度下降、噪声增加等问题，增强手机结构光3D深度相机的鲁棒性，实现一种结构光3D深度相机的自校正技术显得尤为重要。
发明内容
鉴于此，本公开提出了一种结构光3D深度相机的自校正方法及装置，将由于激光编码图形投射器光轴与图像接收传感器光轴发生变化，通过获取输入编码图像相对参考编码图像中图像块的偏移量，通过变化的偏移量反向上下调整参考编码图像的位置，使输入编码图像中心与参考编码图像中心能形成一个自反馈调节闭环系统，从而实现输入编码图像和参考编码图像在光轴发生较大范围变动时始终能找到最优匹配关系。进一步地，还可以根据校正后的偏移量进行深度计算。
一方面，本公开提供了一种结构光3D深度相机的自校正方法，所述方法包括下述步骤：
S100、在参考编码图像中，获取第一特征块；
所述参考编码图像为深度距离已知的编码图像；
S200、在输入编码图像中，搜索与第一特征块相对应的第一匹配块；
S300、根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；
S400、根据所述第一偏移量，校正参考编码图像的位置；
S500、若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回步骤S200。
在所述方法中，其中：所述方法还包括下述步骤：
S600、获取输入编码图像中的一个像素，将其作为第一像素；
以第一像素为中心，获取第二特征块；
S700、在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；
S800、获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；
S900、返回步骤S600，直至获取到输入编码图像中所有像素对应的深度距离。
在所述方法中，其中：所述步骤S200和所述步骤S700中的搜索包括下述步骤：
确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。
在所述方法中，其中：所述步骤S300中的获取包括下述步骤：
S301、对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；
S302、获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。
在所述方法中，其中：所述步骤S300中的校正包括下述步骤：
S311、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；
S312、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第以分量的绝对值；
所述第一偏移分量为二维向量。
另一方面，本公开提供了一种结构光3D深度相机的自动校正装置，其特征在于，所述装置包括下述模块：
第一获取模块，被配置用于：在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；
第一搜索模块，被配置用于：在输入编码图像中，搜索与第一特征块相对应的第一匹配块；
第一偏移量获取模块，被配置用于：根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；校正模块，被配置用于：根据所述第一偏移量，校正参考编码图像的位置；
第一返回模块，被配置用于：若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回第一搜索模块。
在所述装置中，其中：所述装置还包括下述模块：
第二获取模块，被配置用于：获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；
第二搜索模块，被配置用于：在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；
计算模块，被配置用于：获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；
第二返回模块，被配置用于：返回第二获取模块，直至获取到输入编码图像中所有像素对应的深度距离。
在所述装置中，其中：所述第一搜索模块和第二搜索模块中的搜索包括下述操作：
确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。
在所述装置中，其中：所述第一偏移量获取模块通过下述方法获取第一偏移量：
对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；
获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。
在所述装置中，其中：所述第一偏移量获取模块通过下述方法进行校正：
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第以分量的绝对值；
所述第一偏移分量为二维向量。
与现有技术相比，本公开的方法和装置可以解决激光编码图形投射器和图像接收传感器光轴发生变化所导致的深度精度下降、误匹配噪声增加等问题，实现结构光深度相机的实时自校正，提高深度相机的鲁棒性。
附图说明
图1是一个实施例中，智能手机的结构光深度相机自校正装置的结构框图；
图2是一个实施例中，智能手机的结构光深度相机自校正方法的流程图；
图3是一个实施例中，激光散斑图案示意图；
图4是一个实施例中，参考散斑图特征块及匹配搜索窗示意图；
图5是一个实施例中，自校正过程的流程图；
图6是一个实施例中，AP手动控制过程的流程图；
图7是一个实施例中，求取图像旋转角度方法的示意图；
图8是一个实施例中，自校正方法的示意图。
具体实施方式
下面结合附图1-8对本发明的自校正方法和装置做进一步的详细说明。
图1是本发明实施例的一种智能手机的结构光深度相机自校正装置的结构框架图。如图1所示，该自校正装置包括投射接收模块10、AP模块11、自校正模块12和深度计算模块13。
投射接收模块10，用于接收从红外激光散斑投射器投射出并由图像接收传感器采集的用于深度计算的输入散斑图像，以及参考散斑图像。
所述红外激光散斑投射器投射散斑图像，可以采用垂直腔面激光发射器 VCSEL结合准直镜和衍射光学器件DOE的方式构成，也可以采用半导体激光器LD结合准直镜和衍射光学器件DOE的方式构成，也可以是数字光处理器 DigtalLightProcession(DLP)投射、LD/VCSEL结合微机电系统Micro- Flectro-MechanicalSystems(MEMS)器件构成等其它投射方式，所投射的散斑图案，包括随机散斑、规则符号阵列结构光、随机散斑+规格符号的混合结构光散斑等。
所述输入散斑图像是由红外激光散斑投射器和图像接收传感器采集获得的输入散斑图像序列，所述参考散斑图像是固化在内部或外部存储器中、深度距离信息已知的散斑图像。
AP模块11，用于控制匹配过程中参考散斑图像中提取的特征块的个数及大小、输入散斑图像中匹配搜索窗的范围及大小、匹配搜索窗中提取匹配块的大小等参数和过程，同时可以通过手动或自动模式输入、计算参考散斑图像和输入散斑图像光轴变化的最佳偏移量以对参考散斑图像进行调整校正。
自校正模块12是检测参考散斑图像和输入散斑图像的光轴变化，通过参考散斑图像的特征块和输入散斑图像的匹配块计算出参考散斑图像相对于输入散斑图像的偏移量，并根据最优偏移量对参考散斑图像进行校正，使输入散斑图像中心与参考散斑图像中心形成一个自反馈调节闭环系统，从而实现输入散斑图像和校正后的参考散斑图像在光轴发生较大范围变动时始终能找到最优匹配关系，并得到正确的偏移量用于深度计算。
该自校正模块12进一步包括参考散斑图像和输入散斑图像预处理子模块121、参考散斑图像特征块和输入散斑图像匹配搜索窗生成子模块122、计算匹配块与特征块相似度子模块123、计算偏移量(相似度最大匹配块)子模块124、检测偏移量变化子模块125、调整参考散斑图像子模块126。
所述参考散斑图像和输入散斑图像预处理子模块121，用于对参考散斑图像和输入散斑图像进行包括RAW数据格式转换、自适应去噪、一致性增强二值化等的自适应预处理，其目的是通过对激光散斑图像的预处理，使激光散斑图更清晰、减少噪声干扰，并有利于本发明内容的自校正和深度感知计算。
所述参考散斑图像特征块和输入散斑图像匹配搜索窗生成子模块122，用于从参考散斑图像中的点(x，y)处提取的大小为m×n的图像块作为特征块，匹配搜索窗是以输入散斑图像与特征块中心点(x，y)位置相同的对应点为中心点，在其周围一定范围内提取的输入散斑图像块，大小为M×N，M、N为整数，一般M＞m，N＞n。其中，m×n为参考散斑图像中特征块的大小，m 为特征块的宽，n为特征块的高；M×N为输入散斑图像中的匹配搜索窗的大小，M为搜索窗的宽，N为搜索窗的高。
所述计算匹配块与特征块相似度子模块123，用于在匹配搜索窗中提取与特征块同样大小的图像块作为匹配块，特征块与匹配块之间根据归一化互相关NCC相似度准则或差绝对值之和SAD计算两者的相似度，通过并行计算可同时得到特征块与所有匹配块之间的相似度。
所述计算相似度最大匹配块子模块124，用于对所述计算匹配块与特征块相似度子模块123对同一特征块匹配计算得到的所有相似度求取最大值，该最大值对应的匹配块即为该特征块的最优匹配块，根据特征块中心点(x，y) 和最优匹配块中心点在输入散斑图像中的坐标(x′，y′)，计算出偏移量(Δx，Δy)，即该特征块的偏移向量，偏移量为特征块中心点坐标值(x，y)分别按X、Y轴减去最优匹配块的中心点(x′，y′)坐标值计算得到。
所述检测偏移量变化子模块125，用于根据偏移量判断参考散斑图像相对于输入散斑图像的变化方向和大小，即红外激光散斑投射器和图像接收传感器光轴变化的方向和大小。如果投射接收模块10的红外激光散斑投射器和图像接收传感器在光轴发生变化前是左右水平摆放，即两者的光轴是水平方向平行的，则发生变化后，主要调整垂直Y轴方向的偏移，如果Δy≠0，将Δy输出给AP模块11，该AP模块11计算最佳偏移量，根据Δy对参考散斑图像做反向调整，如果Δy＝0，说明光轴没有发生变化，偏移量越大说明红外激光散斑投射器和图像接收传感器之间光轴发生的变化越大。反之，如投射接收模块10的红外激光散斑投射器和图像接收传感器在光轴发生变化前是上下垂直摆放，即两者的光轴是垂直方向平行的，则发生变化后，主要调整水平X轴方向的偏移。后续主要以红外激光散斑投射器和图像接收传感器水平摆放为例说明。
调整参考散斑图像子模块126，用于根据偏移量对参考散斑图像进行反向调整。如果红外激光散斑投射器和图像接收传感器水平摆放，则根据偏移量Δy对参考散斑图像进行反向调整。如果Δy＞0，说明参考散斑图像的光轴相对于输入散斑图向下移动，对参考散斑图整体向上调整，如果Δy＜0，说明参考散斑图像的光轴相对于输入散斑图向上移动，对参考散斑图整体向下调整。同理，如果红外激光散斑投射器和图像接收传感器垂直摆放，则根据偏移量Δx对参考散斑图像反向调整。
深度计算模块13是计算输入散斑图像中像素点对应的深度值，在输入散斑图像中提取图像块，在经过调整后的参考散斑图像中找到与输入图像块中心点相对应的点，以该点为中心在其周围提取一定范围的匹配搜索窗，计算输入图像块与匹配搜索窗中匹配块的差绝对值之和SAD或归一化互相关 NCC相似度，求取SAD值最小或NCC相似度值最小的匹配块，作为校正后的最佳匹配块，该匹配块中心点相对于匹配搜索窗中心点的位置即输入图像块的偏移量，结合参考散斑图像的已知距离参数、红外激光散斑投射器和图像接收传感器之间的基线距离，根据深度计算公式计算得到输入图像块当前中心点的深度信息，并通过逐点、逐行计算后得到整幅输入散斑图像对应的深度图。
深度计算过程中对输入散斑图像提出的图像块跟自校正过程中的参考散斑图像特征块和匹配搜索窗生成子模块提出的特征块大小可以相同、也可以不同。
该装置的基本功能在于：从红外激光散斑投射器和图像接收传感器输入散斑图像序列(深度信息未知)，经图像自适应预处理与固化在存储器中的参考散斑图像(作为匹配基准的标准散斑图像，其图案固定、深度距离信息已知)进行比较，在参考散斑图像中提取散斑特征块，与输入匹配搜索窗内的相同大小的匹配块进行块匹配运动估计，以一定的搜索策略和相似度准则寻找与特征块相似度最高的匹配块，获得该匹配块在输入散斑图像中的坐标与特征块中心点坐标的偏移量，利用偏移量对参考散斑图像做反向调整，调整之后的参考散斑图像和输入散斑图像进行块匹配运动估计，获得输入散斑图像中每个点相对于参考散斑图像的偏移量，并根据偏移量、参考散斑图像的已知距离参数、红外激光散斑投射器和图像接收传感器之间的基线距离，依据深度计算公式计算得到当前中心点的深度信息，并通过逐点、逐行计算后得到整幅输入散斑图像对应的深度信息。该装置各个子模块的功能将在下文对方法流程的介绍中得到更加详细的说明。
图2是本发明实施例的智能手机的结构光深度相机自校正方法的整体流程图。为了清楚说明本发明提供的自校正方法，下面将结合图2-7来描述该方法，具体地，该方法包括以下步骤：
步骤1：红外激光散斑投射器投射散斑图像，图像接收传感器接收所投射的散斑图像，并生成输入散斑图像和参考散斑图像。
具体地，红外激光散斑投射器投射出固定图形的激光束到距离为d的平面，该平面与投射器的中心轴垂直，经图像接收传感器采集和自适应预处理并存储下来，用于对输入散斑图像序列进行深度感知计算的匹配基准图形就是参考散斑图像。
输入散斑图像是红外激光散斑投射器对目标物体或投射空间投射激光束所形成的散斑图像，再被图像接收传感器采集得到的图像。该输入散斑图经过了与参考散斑图像相同的自适应预处理。图3所示即为红外激光散斑投射器投射的一种激光散斑图案，由随机散斑点构成。图3仅作为示例的一种激光散斑图案，本发明内容适合各种结构光散斑图案，包括随机散斑、规则符号阵列结构光、随机散斑+规则符号的混合结构光散斑等。
步骤2：检测参考散斑图像相对于输入散斑图像的光轴变化，并根据最优偏移量对参考散斑图像进行校正。
在一个具体的实施例中，该步骤2进一步包括：
步骤2.1：对参考散斑图像和输入散斑图像进行预处理，在参考散斑图像中设定特征块，特征块的中心点为(xi＝1，…，p，yi＝1，…，p)，大小均为 m×n，在输入散斑图像中提取与(xi＝1，…，p，yi＝1，…，p)位置对应的点为中心，大小为M×N(其中M＞m，N＞n)的匹配搜索窗；
其中，对参考散斑图像和输入散斑图像的预处理包括RAW数据格式转换、自适应去噪、一致性增强二值化等的自适应预处理。
步骤2.2：在所述匹配搜索窗内提取大小为m×n的匹配块，通过相似度准则计算所述匹配块与所述特征块之间的相似度，最大相似度所对应的匹配块即为最优匹配块；
具体地，如图2所示，在所述匹配搜索窗中提取与特征块相同大小的 m×n匹配块Arel，按归一化互相关Normalized Cross Correlation Method (NCC)相似度准则公式计算特征块Aref与匹配块Arel之间的相似度：
Figure RE-GDA0002066886600000111
或按差绝对值之和(SAD)公式计算特征块Aref与匹配块Arel之间的相似度：
Figure RE-GDA0002066886600000121
其中，n0为匹配块像素点个数(或特征块像素点个数，即m×n)，
Figure RE-GDA0002066886600000122
xi，j表示特征块中像素点的值，yi，j表示匹配块中像素点的值。
如图4所示，对匹配搜索窗中的每一个匹配块Arel，计算匹配块Arel与特征块Aref的相似度，求取匹配搜索窗内所有相似度值的最大值 max(simM×N)或max(sim′M×N)，最大相似度对应的匹配块即为最优匹配块。
步骤2.3：提取最优匹配块的中心点(x′i＝1，…，p，y′i＝1，…，p)，计算特征块中心点(xi＝1，…，p，yi＝1，…，p)与匹配块中心点(x′i＝1，…，p，y′i＝1，…，p)之间的偏移量(Δxi＝1，…，p，Δyi＝1，…，p)；
如红外激光散斑投射器和图像接收传感器在光轴发生变化前是左右水平摆放，即两者的光轴是水平方向平行的，则发生变化后，主要调整垂直Y轴方向的偏移。如图5所示，找到对应点后按以下公式计算参考散斑图像和输入散斑图像的每个对应点在y方向的偏移量Δyi，x方向的偏移量Δxi。
Δyi＝yi-y′i
Δxi＝xi-x′i
步骤2.4：检测偏移量，将偏移量(Δxi，Δyi)输出到手机AP端并根据一定规则求取最佳偏移量；
具体地，如图5所示，计算参考散斑图像特征块中心点对应于输入散斑图像匹配块中心点的偏移量Δyi＝1，…，p的最大值Δymax和最小值Δymin。
然后按图5计算图像校正所用的最优偏移量。设定一个阈值th，如果满足判定条件Δymax-Δymin＜＝th，取Δyi的均值作为图像校正的最优偏移量：
Figure RE-GDA0002066886600000131
或如图6所示，AP端手动控制调整Δy使深度图达到效果最优。
如果不满足判定条件Δymax-Δymin＜＝th，则需要通过点 (xi＝1，…，p，yi＝1，…，p)和(x′i＝1，…，p，y′i＝1，…，p)计算出图像的旋转角度θ，对参考散斑图像旋转校正。
如图7所示对于点(xi，yi)和(x′i，y′i)，求两个点之间的夹角θi为：
Figure RE-GDA0002066886600000141
即
Figure RE-GDA0002066886600000142
取所有角度的均值
Figure RE-GDA0002066886600000143
对参考散斑图像做反向旋转处理： Imageref＝rotate(Imageref，-Δθ)，或如图6所示，AP端手动控制调整Δθ使深度图达到效果最优。
步骤2.5：根据最优偏移量反向上下(-Δy)或左右(-Δx)整体调整参考散斑图像的位置；
如果Δy≠0根据偏移量Δy对参考散斑图做反向校正，即：
Imageref＝Imageref-Δy，
如果Δy＝0，则不对参考散斑图做校正处理。
步骤3、对输入散斑图像的每个像素点以图像块方式在参考散斑图像中搜索最优匹配块，得到偏移量(Δx′，Δy′)，利用偏移量，根据深度计算公式计算该像素点的深度信息。
具体地，在输入散斑图像中提取图像块，在经过校正的参考散斑图像中提取一定范围的匹配搜索窗，并在匹配搜索窗内提取与输入图像块大小相同的匹配块，计算输入图像块与匹配块的SAD值，或NCC相似度，SAD值或NCC相似度值最小对应的匹配块，即最优匹配块，该最优匹配块中心点相对于匹配搜索窗中心点的位置的偏移量，即输入图像块的偏移量(Δx′，Δy′)。
选择x方向或y方向的偏移量Δm(Δm＝Δx′，或Δm＝Δy′)，结合参考散斑图像的已知距离d、图像接收传感器焦距f、红外激光散斑投射器与图像接收传感器之间的基线距离s，和图像接收传感器像素点点距参数μ，按以下公式计算得到输入图像块中心点(x，y)的深度信息d′：
Figure RE-GDA0002066886600000151
其中，最优偏移量Δm等于匹配搜索窗中心点x坐标值减最优匹配块中心点x′坐标值，或匹配搜索窗中心点y坐标值减最优匹配块中心点y′坐标值，Δm有正负。
优选地，如果红外激光散斑投射器和图像接收传感器的光轴是水平方向平行的，则可只关注特征块与最优匹配块在Y轴方向的偏移量Δy，通过反向调整参考散斑图像的偏移量-Δy，使得输入散斑图像和经校正后的参考散斑图像光轴中心保持水平方向平行。同理如果红外激光散斑投射器和图像接收传感器的光轴是垂直方向平行的，则可只关注特征块与最优匹配块在X轴方向的偏移量Δx，通过反向调整参考散斑图像的偏移量-Δx，使得输入散斑图像和经校正后的参考散斑图像光轴中心保持垂直方向平行。
作为示例，搜索策略和相似度测量指标采用传统全搜索块匹配和归一化互相关相似度准则(NCC)及差绝对值之和(SAD)方法，但是也可以采用其他各种改进的搜索策略和相似度测量指标，比如三步搜索法(TSS)等，采用不同的相似度搜索策略方法并不影响本发明提出的自校正方法及装置。本发明中搜索策略是逐个匹配块进行搜索，精度可达到像素级，通过对散斑图像素点进行插值计算，也可以达到子像素级。
在一个实施例中，参见图8，本公开提供了一种结构光3D深度相机的自校正方法，所述方法包括下述步骤：
S100、在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；
S200、在输入编码图像中，搜索与第一特征块相对应的第一匹配块；
S300、根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；
S400、根据所述第一偏移量，校正参考编码图像的位置；
S500、若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回步骤S200。
在本实施例中，通过上述步骤可以将输入编码图像中通过相似度准则搜寻该编码特征块对应的最优编码匹配块，得到特征块与匹配块之间的偏移量；检测该偏移量，如激光编码图形投射器光轴与图像接收传感器光轴发生变化，则特征块与匹配块之间的偏移量也会发生变化，将变化的偏移量通过反向上下调整参考编码图像的位置，使输入编码图像中心与参考编码图像中心能形成一个自反馈调节闭环系统，从而实现输入编码图像和参考编码图像在光轴发生较大范围变动时始终能找到最优匹配关系。
前述或以下实施方案/特征/方面中任一项的方法或装置，其中，激光编码图形投射器用于投射结构光编码图形，可以采用垂直腔面激光发射器VCSEL+准直镜+衍射光学器件 DOE构成，或半导体激光器LD+准直镜+衍射光学器件DOE构成，也可以是DLP投射、 LD/VCSEL+MEMS器件构成等其它投射方式，所投射的结构光编码图案，包括随机散斑、规则符号阵列结构光、随机散斑+规格符号的混合结构光编码等。
输入编码图像是激光编码图形投射器对目标物体或投射空间投射激光束所形成的编码图，再经发射被图像接收传感器采集得到的编码图像序列。该散斑图经过了与参考编码图相同的自适应预处理，经过预处理后根据场同步和行同步信号逐行送入行存。本公开内容适合各种结构光编码图案，包括随机散斑、规则符号阵列结构光、随机散斑+规格符号的混合结构光编码等。
所述的参考编码图像是固化在内部或外部存储器中、深度距离信息已知的编码图像，经过与输入编码图像相同的预处理后逐行送入行存，其读入的行数据位置与输入编码图像相同。
对参考编码图像和输入编码图像进行的预处理，包括RAW数据格式转换、自适应去噪、一致性增强二值化等，其目的是通过激光编码图像的预处理，使编码图形更清晰、减少噪声干扰，并有利于本发明内容的自校正和深度感知计算。
参考编码图像是激光投射器投射固定图形的激光束到距离为d的平面，该平面与投射器的中心轴垂直，经图像接收传感器采集和自适应预处理并存储下来用于对输入编码图像序列进行深度感知计算的匹配基准图形。所述的参考编码图像，包括由随机散斑点构成的激光散斑编码图形、规则符号构成的符号阵列编码图形、随机散斑+规则符号混合构成的编码图形。
前述或以下实施方案/特征/方面中任一项的方法，其中所述方法还包括下述步骤：
S600、获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；
S700、在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；
S800、获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；
S900、返回步骤S600，直至获取到输入编码图像中所有像素对应的深度距离。
在这个实施例中，在输入编码图像中提取输入图像块，在经过调整后的参考编码图像中找到与输入图像块中心点相对应的点，以该点为中心在其周围提取一定范围的搜索匹配窗，将具有最大相似度的候选匹配块作为最佳匹配块，获取该匹配块中心点相对于搜索匹配窗中心点的位置偏移量，即输入图像块的第二偏移量，结合参考编码图的已知距离参数、激光编码图形投射器和图像接收传感器之间的基线距离，根据深度计算公式计算得到输入图像块当前中心点的深度信息，并通过逐点、逐行计算后得到整幅输入散斑图对应的深度图。
在这个实施例中，在光轴发生较大范围变动时，在实现输入编码图像和参考编码图像找到最优匹配关系之后，利用得到校正后的偏移量进行深度计算。可以解决在使用过程中如发生跌落、摔碰等情况可能导致激光图形投射器或图像传感器的光轴发生偏移，从而导致深度精度下降、误匹配噪声增加等问题。
前述或以下实施方案/特征/方面中任一项的方法或装置，优选的，深度计算公式如下：
Figure RE-GDA0002066886600000181
式中：d为参考编码图像的已知距离，f为图像传感器焦距，s为激光投射器与接收图像传感器之间的基线距离，μ为图像传感器像素点点距参数，d′为输入图像块中心点 (x，y)的深度信息，Δm为输入图像块中心点与最优匹配块中心点x′坐标值之差，其中Δm＝Δx′，或Δm＝Δy′。
前述或以下实施方案/特征/方面中任一项的方法，优选的：所述步骤S200和所述步骤S700中的搜索包括下述步骤：
确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。
前述或以下实施方案/特征/方面中任一项的方法或装置中，对由同一特征块匹配计算得到的所有相似度中求取最大值，该最大值对应的匹配块即为该特征块的最佳匹配块，输出该最佳匹配块中心点在输入编码图像中的坐标(x′，y′)，根据(x，y)和(x′，y′)计算出偏移量 (Δx，Δy)，即该特征块的偏移向量，偏移量为特征块中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块的中心点(x′，y′)坐标值计算得到。
对于多个特征块时，特征块中心点(xi＝1，…，p，yi＝1，…，p)与匹配块中心点 (x′i＝1，…，p，y′i＝1，…，p)之间的偏移量计算如下：
Δxi＝xi-x′i，
Δyi＝yi-y′i，
取(Δxi＝1，…，p，Δyi＝1，…，p)的均值作为最优偏移量(Δx，Δy)：
Figure RE-GDA0002066886600000191
Figure RE-GDA0002066886600000192
前述或以下实施方案/特征/方面中任一项的方法，优选的：所述步骤S300中的获取包括下述步骤：
S301、对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；
S302、获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。
前述或以下实施方案/特征/方面中任一项的方法，其中：所述步骤S300中的校正包括下述步骤：
S311、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；
S312、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第以分量的绝对值。
在这里，所述第一偏移分量为二维向量，分别为图像直角坐标系中的X向量和Y向量。
在这个实施例中，如果结构光投射接收装置中投射器和接收摄像头的光轴是水平方向平行的，则可只关注编码特征块与最优匹配块在Y轴方向的偏移量Δy，通过反向调整参考编码图像的偏移量-Δy，使得输入编码图像和经校正后的参考编码图像光轴中心保持水平方向平行。同理如果结构光投射接收装置中投射器和接收摄像头的光轴是垂直方向平行的，则可只关注编码特征块与最优匹配块在X轴方向的偏移量Δx，通过反向调整参考编码图像的偏移量-Δx，使得输入编码图像和经校正后的参考编码图像光轴中心保持垂直方向平行。
调整参考编码图像位置子模块是根据偏移量Δy对参考编码图像进行反向调整，如果Δy＞0，对参考编码图整体向上调整，即Imageref＝Imageref-Δy，如果Δy＜0，对参考编码图整体向下调整，即Imageref＝Imageref+Δy，如果Δy＝0，说明参考编码图像的光轴相对于输入编码图没有发生变化，则不需要对其调整。
在一个实施例中，提供一种方法，该方法从激光编码图形投射器和图像接收传感器输入编码图像序列(深度信息未知)，经图像自适应预处理与固化在存储器中的参考编码图 (作为匹配基准的标准编码图，其图案固定、深度距离信息已知)进行比较，在参考编码图中提取编码特征块，与输入搜索匹配窗内的相同大小的匹配块进行块匹配运动估计，以一定的搜索策略和相似度准则寻找与特征块相似度最高的最优匹配块，获得该匹配块在输入编码图中的坐标与特征块中心点坐标的偏移量，根据偏移量对参考编码图做反向调整；调整之后的参考编码图和输入编码图进行块匹配运动估计，获得输入编码图中每个点相对于参考编码图的偏移量，并根据偏移量、参考编码图的已知距离参数、激光编码图形投射器和图像接收传感器之间的基线距离，依据深度计算公式计算得到当前中心点的深度信息，并通过逐点、逐行计算后得到整幅输入编码图对应的深度信息。
在一个实施例中，本公开提供了一种结构光3D深度相机的自动校正装置，所述装置包括下述模块：
第一获取模块，被配置用于：在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；
第一搜索模块，被配置用于：在输入编码图像中，搜索与第一特征块相对应的第一匹配块；
第一偏移量获取模块，被配置用于：根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；
校正模块，被配置用于：根据所述第一偏移量，校正参考编码图像的位置；
第一返回模块，被配置用于：若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回第一搜索模块。
在这个实施例中，第一获取模块从参考编码图像中的点(x，y)处提取的大小为m×n的图像块作为特征块。第一搜索模块以输入编码图像与特征块中心点(x，y)位置相同的对应点为中心点，在其周围一定范围内提取的输入编码图像块，大小为M×N，M、N为整数，一般M＞m，N＞n。
前述或以下实施方案/特征/方面中任一项的装置，其中所述装置还包括下述模块：
第二获取模块，被配置用于：获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；
第二搜索模块，被配置用于：在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；
计算模块，被配置用于：获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；
第二返回模块，被配置用于：返回第二获取模块，直至获取到输入编码图像中所有像素对应的深度距离。
前述或以下实施方案/特征/方面中任一项的装置，优选的，所述第一搜索模块和第二搜索模块中的搜索包括下述操作：
确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。
前述或以下实施方案/特征/方面中任一项的装置，优选的，所述第一偏移量获取模块通过下述方法获取第一偏移量：
对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；
获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。
在前述实施例中，优选的，所述第一偏移量获取模块通过下述方法进行校正：
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第以分量的绝对值；
所述第一偏移分量为二维向量。
前述或以下实施方案/特征/方面中任一项的装置或方法，其中相似度可以通过下述任一方法计算：
方法一：差绝对值之和SAD；
方法二：归一化互相关(NCC)相似度准则；
方法三：三步搜索法(TSS)。
采用不同的相似度搜索策略方法并不影响本公开提出的自校正方法及装置。
前述或以下实施方案/特征/方面中任一项的装置或方法，搜索策略优选逐个匹配块进行搜索，精度可达到像素级，通过对散斑图像素点进行插值计算，也可以达到子像素级。
优选地，通过归一化互相关(NCC)相似度准则计算，若将特征块记作Aref，将与之相应的匹配块记作Arel，将相似度记作sim，则：
Figure RE-GDA0002066886600000221
其中，n0为匹配块像素点个数(或特征块像素点个数，即m×n)，
Figure RE-GDA0002066886600000222
xi，j表示特征块中像素点的值，yi，j表示匹配块中像素点的值。
如图4所示对匹配搜索窗中的每一个点提取匹配块Arel，计算Arel与Aref的相似度，求取匹配搜索窗内所有相似度值的最大值max(simM×N)或max(sim′M×N)，最大相似度对应的匹配块即为最佳匹配块。
前述或以下实施方案/特征/方面中任一项的装置或方法，其中，输入编码图像提出的图像块跟自校正过程中的参考编码图像特征块和输入编码图像匹配搜索窗生成子模块提出的特征块大小可以相同、也可以不同。
虽然上述的实施例在特定的系统中完成，然其并非限定本发明，本发明可类似的应用到相似的图案投射和图像传感器系统中，用于偏移量检测的散斑特征块并非限定为1个，可以是1个以上，2个、3个、4个....n个；其散斑特征块的大小或形状可变，除了正方形，也可是长方形、菱形、圆形等几何形状。因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。
本发明提出的结构光3d深度相机自校正方法及装置不仅适合用于手机中的结构光深度相机，也适合用于其他单目、双目或多目结构光深度相机模组；同时本发明内容及装置可以采用ASIC芯片实现、IP核嵌入SoC应用或各类SoC处理器(CPU、GPU、DSP、AP)上软件实现，因而在不脱离本发明的精神和范围内的修改和完善，均应包含在上述的权利要求范围内。

Claims (10)

1.一种结构光3D深度相机的自校正方法，其特征在于，所述方法包括下述步骤：
S100、在参考编码图像中，获取第一特征块；
所述参考编码图像为深度距离已知的编码图像；
S200、在输入编码图像中，搜索与第一特征块相对应的第一匹配块；
所述输入编码图像是激光编码图形投射器对目标物体或投射空间投射激光束所形成的编码图，再经图像接收传感器采集得到的编码图像序列；
S300、根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；
S400、根据所述第一偏移量，校正参考编码图像的位置；
S500、若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回步骤S200；
其中，
所述步骤S200中的搜索包括下述步骤：
确定匹配搜索窗的中心和大小，所述中心为第一特征块的中心点，所述大小大于第一特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与第一特征块的相似度，将具有最大相似度的候选匹配块作为与第一特征块相对应的第一匹配块。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括下述步骤：
S600、获取输入编码图像中的一个像素，将其作为第一像素；
以第一像素为中心，获取第二特征块；
S700、在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；
S800、获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；
S900、返回步骤S600，直至获取到输入编码图像中所有像素对应的深度距离。
3.根据权利要求2所述的方法，其特征在于，所述步骤S700中的搜索包括下述步骤：
确定匹配搜索窗的中心和大小，所述中心为第二特征块的中心点，所述大小大于第二特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与第二特征块的相似度，将具有最大相似度的候选匹配块作为与第二特征块相对应的第二匹配块。
4.根据权利要求1或2所述的方法，其特征在于，当存在多个特征块时，所述步骤S300中的获取包括下述步骤：
S301、对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；
S302、获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。
5.根据权利要求1所述的方法，其特征在于，所述步骤S400包括下述校正步骤：
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则参考编码图像沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则参考编码图像沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第一分量的绝对值；
所述第一偏移量为二维向量。
6.一种结构光3D深度相机的自动校正装置，其特征在于，所述装置包括下述模块：
第一获取模块，被配置用于：在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；
第一搜索模块，被配置用于：在输入编码图像中，搜索与第一特征块相对应的第一匹配块；所述输入编码图像是激光编码图形投射器对目标物体或投射空间投射激光束所形成的编码图，再经图像接收传感器采集得到的编码图像序列；
第一偏移量获取模块，被配置用于：根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；
校正模块，被配置用于：根据所述第一偏移量，校正参考编码图像的位置；
第一返回模块，被配置用于：若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回第一搜索模块；
其中，所述第一搜索模块中的搜索包括下述操作：
确定匹配搜索窗的中心和大小，所述中心为第一特征块的中心点，所述大小大于第一特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与第一特征块的相似度，将具有最大相似度的候选匹配块作为与第一特征块相对应的第一匹配块。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括下述模块：
第二获取模块，被配置用于：获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；
第二搜索模块，被配置用于：在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；
计算模块，被配置用于：获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；
第二返回模块，被配置用于：返回第二获取模块，直至获取到输入编码图像中所有像素对应的深度距离。
8.根据权利要求7所述的装置，其特征在于，所述第二搜索模块中的搜索包括下述操作：
确定匹配搜索窗的中心和大小，所述中心为第二特征块的中心点，所述大小大于第二特征块的大小；
在所述匹配搜索窗内提取候选匹配块，计算其与第二特征块的相似度，将具有最大相似度的候选匹配块作为与第二特征块相对应的第二匹配块。
9.根据权利要求6或7所述的装置，其特征在于，当存在多个特征块时，所述第一偏移量获取模块通过下述方法获取第一偏移量：
对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；
获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。
10.根据权利要求6所述的装置，其特征在于，所述校正模块通过下述方法进行校正：
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则参考编码图像沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；
若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则参考编码图像沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第一分量的绝对值；
所述第一偏移量为二维向量。
CN201811540465.0A 2017-12-18 2018-12-17 一种结构光3d深度相机的自校正方法及装置 Active CN110177266B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN2017113675738 2017-12-18
CN201711367573 2017-12-18
CN2017113698388 2017-12-18
CN201711369838 2017-12-18

Publications (2)

Publication Number Publication Date
CN110177266A CN110177266A (zh) 2019-08-27
CN110177266B true CN110177266B (zh) 2021-02-26

Family

ID=66815226

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811547634.3A Active CN110049305B (zh) 2017-12-18 2018-12-17 一种智能手机的结构光深度相机自校正方法及装置
CN201811540465.0A Active CN110177266B (zh) 2017-12-18 2018-12-17 一种结构光3d深度相机的自校正方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811547634.3A Active CN110049305B (zh) 2017-12-18 2018-12-17 一种智能手机的结构光深度相机自校正方法及装置

Country Status (2)

Country Link
US (2) US11037313B2 (zh)
CN (2) CN110049305B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220012066A1 (en) * 2018-12-06 2022-01-13 Nec Corporation System deployment device and system deployment method
GB201904072D0 (en) * 2019-03-25 2019-05-08 Secr Defence Dazzle resilient video camera or video camera module
CN110557622B (zh) * 2019-09-03 2021-04-02 歌尔光学科技有限公司 基于结构光的深度信息获取方法及装置、设备及介质
CN110853086A (zh) * 2019-10-21 2020-02-28 北京清微智能科技有限公司 基于散斑投影的深度图像生成方法及系统
CN111127572A (zh) * 2020-01-06 2020-05-08 长春理工大学 基于轴向采集方式的集成成像深度图获取方法
CN111239729B (zh) * 2020-01-17 2022-04-05 西安交通大学 融合散斑和泛光投射的ToF深度传感器及其测距方法
CN111540004B (zh) * 2020-04-16 2023-07-14 北京清微智能科技有限公司 单相机极线校正方法及装置
CN113705319A (zh) * 2020-05-21 2021-11-26 联詠科技股份有限公司 光学指纹感测装置以及光学指纹感测方法
CN111986154A (zh) * 2020-07-20 2020-11-24 深圳奥比中光科技有限公司 一种光学信息检测方法、装置及设备
CN112184811B (zh) * 2020-09-22 2022-11-04 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN112164099A (zh) * 2020-09-23 2021-01-01 北京的卢深视科技有限公司 基于单目结构光的自检自校准方法及装置
CN112176274A (zh) * 2020-10-13 2021-01-05 洛阳轴承研究所有限公司 热喷涂喷枪轨迹校准方法及轴承喷涂方法
CN112837292A (zh) * 2021-02-04 2021-05-25 Oppo广东移动通信有限公司 搜索散斑的方法、终端设备及存储介质
CN112861764B (zh) * 2021-02-25 2023-12-08 广州图语信息科技有限公司 一种人脸识别活体判断方法
CN112911091B (zh) * 2021-03-23 2023-02-24 维沃移动通信（杭州）有限公司 多点激光器的参数调整方法、装置和电子设备
CN113099120B (zh) * 2021-04-13 2023-04-18 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113124763B (zh) * 2021-04-22 2022-05-24 奥比中光科技集团股份有限公司 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN113674335B (zh) * 2021-08-19 2022-05-31 合肥的卢深视科技有限公司 深度成像方法、电子设备及存储介质
CN114066950B (zh) * 2021-10-27 2022-09-23 合肥的卢深视科技有限公司 单目散斑结构光图像匹配方法、电子设备及存储介质
CN114125434A (zh) * 2021-11-26 2022-03-01 重庆盛泰光电有限公司 一种tof摄像头的3d校正装置
CN114299129B (zh) * 2021-12-31 2023-01-31 合肥的卢深视科技有限公司 深度恢复方法、电子设备和计算机可读存储介质
CN114913175B (zh) * 2022-07-18 2022-12-16 合肥的卢深视科技有限公司 散斑图像质量评价方法、电子设备及存储介质
CN115297285B (zh) * 2022-10-09 2023-01-06 天津希格玛微电子技术有限公司 一种读出图像数据的方法、装置、计算机及存储介质
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法
CN116704011B (zh) * 2023-08-04 2024-03-05 深圳市凯立特光电科技有限公司 一种基于数据处理的led显示屏像素校正分析系统
CN117372515B (zh) * 2023-09-15 2024-06-11 钛玛科（北京）工业科技有限公司 一种自适应纠偏控制系统
CN117522926B (zh) * 2024-01-08 2024-04-02 四川迪晟新达类脑智能技术有限公司 基于fpga硬件平台的红外光斑目标识别和跟踪方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400366A (zh) * 2013-07-03 2013-11-20 西安电子科技大学 基于条纹结构光的动态场景深度获取方法
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
CN105403172A (zh) * 2015-10-27 2016-03-16 华侨大学 一种大视场结构光视觉测量中分区域Gamma预校正相位误差补偿方法
WO2016199518A1 (ja) * 2015-06-09 2016-12-15 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317971B2 (en) * 2012-06-29 2016-04-19 Microsoft Technology Licensing, Llc Mechanism to give holographic objects saliency in multiple spaces
CN103020988B (zh) * 2012-11-27 2015-02-25 宁波盈芯信息科技有限公司 一种激光散斑图像的运动向量生成方法
CN102970548B (zh) * 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
CN105203044B (zh) * 2015-05-27 2019-06-11 珠海真幻科技有限公司 以计算激光散斑为纹理的立体视觉三维测量方法及系统
CN105120257B (zh) * 2015-08-18 2017-12-15 宁波盈芯信息科技有限公司 一种基于结构光编码的垂直深度感知装置
US10645309B2 (en) * 2015-11-06 2020-05-05 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
CN105931240B (zh) * 2016-04-21 2018-10-19 西安交通大学 三维深度感知装置及方法
US11025887B2 (en) * 2017-02-27 2021-06-01 Sony Corporation Field calibration of stereo cameras with a projector

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400366A (zh) * 2013-07-03 2013-11-20 西安电子科技大学 基于条纹结构光的动态场景深度获取方法
CN103796004A (zh) * 2014-02-13 2014-05-14 西安交通大学 一种主动结构光的双目深度感知方法
CN103810708A (zh) * 2014-02-13 2014-05-21 西安交通大学 一种激光散斑图像深度感知方法及装置
CN103824318A (zh) * 2014-02-13 2014-05-28 西安交通大学 一种多摄像头阵列的深度感知方法
CN103839258A (zh) * 2014-02-13 2014-06-04 西安交通大学 一种二值化激光散斑图像的深度感知方法
WO2016199518A1 (ja) * 2015-06-09 2016-12-15 富士フイルム株式会社 距離画像取得装置及び距離画像取得方法
CN105403172A (zh) * 2015-10-27 2016-03-16 华侨大学 一种大视场结构光视觉测量中分区域Gamma预校正相位误差补偿方法

Also Published As

Publication number Publication date
US10740917B2 (en) 2020-08-11
US11037313B2 (en) 2021-06-15
US20190188874A1 (en) 2019-06-20
US20190188873A1 (en) 2019-06-20
CN110049305B (zh) 2021-02-26
CN110049305A (zh) 2019-07-23
CN110177266A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110177266B (zh) 一种结构光3d深度相机的自校正方法及装置
US11302022B2 (en) Three-dimensional measurement system and three-dimensional measurement method
WO2019212876A1 (en) Field calibration of a structured light range-sensor
US20130127998A1 (en) Measurement apparatus, information processing apparatus, information processing method, and storage medium
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
EP2745504A1 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
CN103824318A (zh) 一种多摄像头阵列的深度感知方法
US20120307017A1 (en) Method and systems for obtaining an improved stereo image of an object
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
WO2014084181A1 (ja) 画像計測装置
CN109948400A (zh) 一种能够进行人脸特征3d识别的智能手机及其识别方法
CN113160416B (zh) 一种用于煤流检测的散斑成像装置及方法
US20220222843A1 (en) Three-dimensional measurement system and three-dimensional measurement method
CN109084959B (zh) 一种基于双目测距算法的光轴平行度校正方法
CN116468786B (zh) 一种面向动态环境的基于点线联合的语义slam方法
US11348271B2 (en) Image processing device and three-dimensional measuring system
Jia et al. A field measurement method for large objects based on a multi-view stereo vision system
TWI571099B (zh) 深度估測裝置及方法
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
WO2022118513A1 (ja) 位置姿勢算出装置、位置姿勢算出方法及び測量装置
Slossberg et al. Freehand Laser Scanning Using Mobile Phone.
JP7293100B2 (ja) カメラシステム
Jiang et al. Stereo matching based on random speckle projection for dynamic 3D sensing
US12125226B2 (en) Image processing device, three-dimensional measurement system, and image processing method
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant