CN114764823A - 自校正的深度计算方法、系统、介质及深度图像处理设备 - Google Patents

自校正的深度计算方法、系统、介质及深度图像处理设备 Download PDF

Info

Publication number
CN114764823A
CN114764823A CN202110031654.0A CN202110031654A CN114764823A CN 114764823 A CN114764823 A CN 114764823A CN 202110031654 A CN202110031654 A CN 202110031654A CN 114764823 A CN114764823 A CN 114764823A
Authority
CN
China
Prior art keywords
image
parallax
pixel
self
correcting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110031654.0A
Other languages
English (en)
Inventor
张善旭
李耀磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN202110031654.0A priority Critical patent/CN114764823A/zh
Publication of CN114764823A publication Critical patent/CN114764823A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种自校正的深度计算方法、系统、介质及深度图像处理设备，深度计算方法包括：根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；将待处理图像与预存的参考图于视差方向进行立体匹配，以获取输入图像的视差图像；将待处理图像选取部分像素点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧图像使用的校正参数；根据输入图像的视差图像和标定参数，计算输入图像的深度图。本发明能够解决深度视觉成像系统(散斑结构光系统)由于发生系统物理变化(环境温度变化/结构光模组形变)，计算结构光的深度数据的计算方法将失真或失效的问题，提高系统鲁棒性。

Description

自校正的深度计算方法、系统、介质及深度图像处理设备
技术领域
本发明属于图像处理技术领域，涉及一种深度计算方法和系统，特别是涉及一种自校正的深度计算方法、系统、介质及深度图像处理设备。
背景技术
深度视觉成像系统包括三种技术路线：散斑结构光、飞行时间线和双目视觉成像。深度视觉成像系统在机器视觉、人机互动、虚拟现实、混合现实、姿态识别、物体分类等应用场景有广泛的使用。深度视觉成像系统是一套精细而脆弱的系统，深度视觉成像系统在实际使用中，可能发生一系列物理变化。深度视觉成像系统可能发生的物理变化包括：环境温度变化、整机组装或跌落等引起的结构光模组形变、光学模组形变、光路的光轴变化等。当发生上述物理变化时，使用常规的计算结构光的深度数据的计算方法将失真或失效。
因此，如何提供一种自校正的深度计算方法、系统、介质及深度图像处理设备，以解决现有技术由于深度视觉成像系统发生系统物理变化，导致深度数据的计算方法会产生失真或失效等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种自校正的深度计算方法、系统、介质及深度图像处理设备，用于解决现有技术由于深度视觉成像系统发生系统物理变化，导致深度数据的计算方法会产生失真或失效的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种自校正的深度计算方法，包括：根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；将所述待处理图像选取部分像素点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧图像使用的校正参数；根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
于本发明的一实施例中，所述根据校正参数对输入图像进行校正的步骤包括：对所述输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正。
于本发明的一实施例中，所述对所述输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正的步骤包括：生成校正表；所述校正表中的参数为根据预先标定的校正参数及通过将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索获取到像素点于视差垂直方向上的像素偏移值来计算的自校正参数；所述自校正参数为于已校正图像中所选像素点对应输入图像中的像素坐标；所选像素点为在图像的视差方向和视差垂直方向上等间隔选取的像素点；根据所述校正表，生成自校正后的图像；其中，自校正后图像中每个点对应输入图像的像素坐标是根据所述校正表中的像素坐标采用双线性插值计算所得。
于本发明的一实施例中，散斑信息提取的步骤包括：对所述输入图像或校正后的图像中的每个像素点计算以该像素点为中心的n*n矩形区域内所有像素的第一亮度均值和以该像素点为中心的m*m矩形区域内最外一圈的所有像素的第二亮度均值；其中，n为大于等于1的奇数且小于等于散斑直径；m为大于n的奇数，且大于等于散斑直径；将所述第一亮度均值及与所述第二亮度均值相关的参考系数进行比较，当所述第一亮度均值大于所述参考系数时，认为为中心的像素点存在散斑区域，将该像素点的位置标志为1，否则将该像素点的位置标志为0。
于本发明的一实施例中，散斑信息提取的步骤包括：对所述提取散斑信息后的图像中的每个像素点计算以该像素点为中心的i*k矩形区域内像素点为1的个数，若像素点为1的个数小于一阈值，则将该像素点的位置标志为0，否则该像素点的位置标志保持不变。
于本发明的一实施例中，在获取所述输入图像的视差图像的步骤的同时，所述自校正的深度计算方法还包括将与预存的参考图视差不匹配的点设置为无效视差点。
于本发明的一实施例中，所述将所述待处理图像选取部分像素点与预存的参考图进行大范围匹配搜索的步骤包括：于与视差垂直方向上于预设小范围区域内进行小范围搜索，以获取选取的点中视差有效的点在与视差垂直方向上的偏移值；对剩余点保持在计算深度时于视差垂直方向的搜索范围，扩大视差方向的搜索范围进行搜索；再扩大与视差垂直方向的搜索范围；其中，再扩大与视差垂直方向的搜索范围可以根据与有效点的距离分级进行。
本发明另一方面提供一种自校正的深度计算系统，包括：处理模块，用于根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；匹配模块，用于将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；搜索模块，用于将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧使用的校正参数；深度计算模块，根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
本发明又一方面提供一种介质，其上存储有计算机程序，该程序被处理器执行时实现所述自校正的深度计算方法。
本发明最后一方面提供一种深度图像处理设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述深度图像处理设备执行所述自校正的深度计算方法。
如上所述，本发明所述的自校正的深度计算方法、系统、介质及深度图像处理设备，具有以下有益效果：
本发明所述自校正的深度计算方法、系统、介质及深度图像处理设备能够解决深度视觉成像系统(散斑结构光系统)由于发生系统物理变化(结构光温度变化/结构光模组形变)，计算结构光的深度数据的计算方法将失真或失效的问题。当使用软件计算自校正搜索时，为了降低单帧增加的计算时间，可以将整个搜索过程分多个部分进行，每若干帧只进行一部分计算。保证了自校正算法的效率和低功耗。
附图说明
图1A显示为本发明的自校正的深度计算方法于一实施例中的流程示意图。
图1B显示为本发明的自校正的深度计算方法于另一实施例中的流程示意图。
图2显示为本发明的散斑信息提取后的图像示例图。
图3显示为本发明的立体匹配的匹配结构示意图。
图4显示为本发明的4个方向双线性插值的插值结果示意图。
图5显示为本发明的上下或左右双线性插值的插值结果示意图。
图6显示为本发明的自校正的深度计算系统于一实施例中的原理结构示意图。
元件标号说明
21 第一区域
22 第二区域
41，42 区域
51，52 区域
6 自校正的深度计算系统
61 处理模块
62 匹配模块
63 搜索模块
64 深度计算模块
S11～S14 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施提供一种自校正的深度计算方法，包括：
根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；
将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；
将所述待处理图像选取部分像素点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧图像使用的校正参数；
根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
以下将结合图示对本实施例所提供的自校正的深度计算方法进行详细描述。
请参阅图1A，显示为自校正的深度计算方法于一实施例中的流程示意图。如图1A所示，所述自校正的深度计算方法具体包括以下几个步骤：
S11，根据校正参数对输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正。
在本实施例中，所述S11包括对所述输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正。
具体地，所述合并校正的步骤包括：
生成校正表。其中，所述校正表中的参数为根据预先标定的校正参数及通过将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索获取到像素点于视差垂直方向上的像素偏移值来计算的自校正参数；所述自校正参数为于已校正图像中所选像素点对应输入图像中的像素坐标；所选像素点为在图像的视差方向和视差垂直方向上等间隔选取的像素点。
例如，对于一个640*480的图像，640表示列数，480表示行数，视差方向为水平方向，可以按32像素间隔选点，视差垂直方向坐标取0、32、64、96、……448、480，视差方向坐标取0、32、64、96、……608、640。其中第480行和第640列在实际图像中不存在，这里选出来是为了插值使用。
对于抽取出的输出图像(校正后图像)任意点坐标(u1,v1)计算对应的输入图像坐标(u_distorted,v_distorted)的方法如下：
u＝u1；
v＝v1+v_offset；
x＝(u-cx)/fx；y＝(v-cy)/fy；
r＝sqrt(x*x+y*y)；
xd＝x*(1+k1*r*r+k2*r*r*r*r)+2*p1*x*y+p2*(r*r+2*x*x)；
yd＝y*(1+k1*r*r+k2*r*r*r*r)+p1*(r*r+2*y*y)+2*p2*x*y；
u_distorted＝fx*xd+cx；v_distorted＝fy*yd+cy。
其中，(cx，cy)为摄像头光心坐标，fx，fy为摄像头焦距，k1,k2为摄像头径向畸变参数,p1，p2为摄像头切向畸变参数，这些参数均为摄像头内参，通过预先标定得到。需要说明的是，这里的畸变模型只是一个示例，不同镜头可以使用不同的畸变模型。
其中，v_offset即为于视差垂直方向上的偏移值，刚开始该值全部为0，后续根据与预存的参考图进行大范围匹配搜索获取到的于视差垂直方向上的像素偏移值进行累加更新。
需要说明的是，所述选取的第一行，第一列，最后一行及最后一列的点并未进行视差垂直方向上的搜索，这些点对应的匹配搜索结果可以直接赋值为与其距离最近的有进行视差垂直方向上的搜索的像素点于视差垂直方向上的偏移值。
在本实施例中，生成校正表的步骤中，在后面的每一帧在需要更新时叠加当前计算出的这些选择的点在与视差垂直方向上的偏移值(该偏移值也包含亚像素)。与视差垂直方向上的偏移值累加更新后，所选像素点在视差垂直方向上的偏移值同时更新为0。后面每一帧的更新可以在间隔固定帧进行，也可以在视差垂直方向上的偏移值超过一个阈值时更新,这样可以降低系统功耗。
根据所述校正表，生成自校正后的图像；
在本实施例中，所述根据所述校正表，生成自校正后的图像的步骤包括：
根据所述校正表中的像素坐标采用双线性插值计算自校正后图像中每个点对应输入图像的像素坐标。
校正后的图像中的每个点的像素值根据该点对应输入图像的像素坐标值，选取输入图像该坐标值附近4个点的像素值采用双线性插值法计算得到。如果对应输入图像的像素坐标值在图像外，则直接赋值为0。例如，校正后图像中的(5,5)点对应输入图像的像素坐标值为(3.47,8,15)，则选取输入图像中的(3,8)，(3,9)，(4,8)，(4,9)这4个坐标对应的像素值做双线性插值得到校正后图像中的(5,5)点的像素值。
在本实施例中，通过合并校正降低了校正的计算量，降低了系统功耗。
S12，对校正后的图像进行散斑信息提取，形成待处理图像。
所述S12具体包含如下步骤：
对校正后的图像中的每个像素点计算以该像素点为中心的n*n矩形区域内所有像素的第一亮度均值和以该像素点为中心的m*m矩形区域内最外一圈的所有像素的第二亮度均值；其中，n为大于等于1的奇数，小于等于散斑半径；m为大于n的奇数，大于等于散斑半径。请参阅图2，显示为散斑信息提取计算区域选择示例图。如图2所示为n取3，m取7时，计算图2中第一区域21中心点是否为有散斑区域时，计算第一区域21的9个像素的亮度均值即为S1，计算第二区域22中24个像素的亮度均值即为S2。
将所述第一亮度均值及与所述第二亮度均值相关的参考系数进行比较，当所述第一亮度均值大于所述参考系数时，认为为中心的像素点存在散斑区域，将该像素点的位置标志为1，否则将该像素点的位置标志为0。
散斑信息提取的步骤还可以包括：
对经过上述散斑信息提取步骤计算后的只含有0和1像素值的图像中的每个像素点计算以该像素点为中心的i*k矩形区域内像素点为1的个数，若像素点为1的个数小于一阈值，则将该像素点的位置的值赋为0，否则该像素点的位置的值保持不变。
在本实施例中，通过提取散斑信息减少了后续匹配搜索的计算量和需要的存储空间。
S13，将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；在本实施例中具体包含如下步骤：
S131，在所述待处理图像中，以任一像素点p1为中心获取一矩形窗rec1。所述矩形窗rec1的尺寸可以根据实际需求设置。
S132，获取所述矩形窗rec1在所述参考图中的对应搜索区域area1，并在所述对应搜索区域area1内进行匹配搜索以获取所述像素点p1的匹配像素点p2，匹配代价可采用归一化互相关。
S133，根据所述像素点p1及其匹配像素点p2的位置及匹配代价，获取所述像素点p1的视差值。其中，本实施例以距离变远时结构光图案的移动方向为正方向，上述视差值的绝对值是指所述像素点p1在所述待处理图像中的位置与其匹配像素点p2在所述参考图中的位置之间于视差方向的距离值。当匹配代价小于一个预设的阈值时将所述像素点p1的视差值设为无效值。需要说明的是，本实施例中也可以选取其他方向作为正方向，具体应用中根据实际选取的正方向对上述方案进行相应调整即可。
S14，将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧使用的校正参数；在本实施例中具体包含如下步骤：
S141，对选取的点中视差有效的点直接根据步骤S13的匹配结果，获取其于视差垂直方向上的偏移值；所述视差垂直方向上的偏移值是指S133中所述像素点p1在所述待处理图像中的像素坐标于视差垂直方向的值减去其匹配像素点p2在所述参考图中的像素坐标于视差垂直方向的值的差值。
S142，剩余的无效点保持在计算深度时于视差垂直方向的搜索范围，扩大视差方向的搜索范围进行匹配搜索(计算深度时已经搜索的视差方向的搜索范围可以无需搜索，因为已经搜索过没有有效结果)；匹配搜索过程与S13类似，对匹配代价大于等于一个预设的阈值的选取点计算其于视差垂直方向上的偏移值；
S143，对剩余无效点再扩大与视差垂直方向的搜索范围进行匹配搜索(前面步骤已经搜索过的搜索范围可以无需搜索，因为已经搜索过没有有效结果)；其中，再扩大与视差垂直方向的搜索范围可以根据与有效点的距离分级进行。其中，与有效点距离越近的点搜索范围越小，与有效点距离越远的点搜索范围越大；匹配搜索过程与S13类似，对匹配代价大于等于一个预设的阈值的选取点计算其于视差垂直方向上的偏移值；
S144，对剩余的无效点利用周围的有效点于视差垂直方向上的偏移值计算得到；在本实施例中具体包含如下步骤：
S1441，对所述剩余的无效点在上下和左右方向找距离最近的有效点，对4个方向都有有效点的点用双线性插值得到该点在视差垂直方向上的偏移值；对上下或左右都有有效点的点用线性插值得到该点在视差垂直方向上的偏移值；
S1442，对经过S1441步骤计算后剩余的无效点重复一次S1441所述的两种插值；
S1443，对最后剩余的无效点用距离最近的有效点与视差垂直方向上的偏移值直接赋值(当上下和左右方向距离最近的两个点的距离相同时，可以任意采用一个方向)。
其中，关于S144步骤的一个具体示例请参阅图3到图5；S143步骤匹配搜索的结果如图3所示，灰色像素为完成步骤S143后匹配成功的有效点，白色像素为未匹配成功的无效点。步骤S1441插值后结果示意图如图4所示，区域41内的像素为4个像素双线性插值的结果，区域42内像素为2个像素线性插值的结果；步骤S1442插值后结果示意图如图5所示，将第一轮插值的像素变为灰色，区域51内的像素为第二轮4个像素双线性插值的结果，区域52内像素为第二轮2个像素线性插值的结果；最后剩余的无效点用距离最近的有效点直接赋值。
在本实施例中，通过分级搜索，降低了大范围搜索的计算量。由于正常情况下在使用过程中结构变化速度很慢，还可以将S14的整个搜索过程分为多个部分进行，在完成一次计算后，每若干帧只进行一部分计算，以进一步降低系统功耗。
S15，根据输入图像的视差图像和标定参数，计算所述输入图像的深度图；对于视差有效的所有像素点根据视差计算深度的公式计算深度，对于视差无效的所有像素点，将深度值也赋为无效值。
所述从视差计算深度的公式如下：
Figure BDA0002892527370000081
其中，Z为场景中待测目标点到相机透镜平面的距离，即深度；R为参考平面到透镜平面的距离(由标定环境确定)，d为计算出的视差(距离变远时结构光图案移动方向为正方向)，f为接收器相机焦距(可以通过相机内参标定得到)，b为投射器器与接收器透视中心的连线长度(即基线距离，可以通过结构设计控制在一个范围内)。
本实施例提供一种自校正的深度计算方法，包括：
根据畸变校正参数对输入图像进行畸变校正；
对校正后的图像进行散斑信息提取；
根据于视差垂直方向的自校正参数对提取散斑信息后的图像进行于视差垂直方向的自校正，生成待处理图像；
将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；
将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，并生成下一帧使用的于视差垂直方向的自校正参数；
根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
请参阅图1B，显示为自校正的深度计算方法于另一实施例中的流程示意图。如图1B所示，所述自校正的深度计算方法具体包括以下步骤：
S21，根据畸变校正参数对输入图像进行畸变校正；
S21具体包括以下步骤：
S211，对输出每个像素点根据畸变校正参数计算对应的输入图像坐标；
S212，对输出每个像素点根据S211步骤计算得到的输入图像坐标选取输入图像该坐标值附近4个点的像素值采用双线性插值法计算得到该像素点的亮度值。本实施例的畸变校正逐点计算校正坐标，提升了畸变校正的准确度。
所述根据畸变校正参数计算输出图像(校正后图像)中坐标为(u,v)的像素对应的输入图像坐标(u_distorted,v_distorted)的方法如下：
x＝(u-cx)/fx；y＝(v-cy)/fy；
r＝sqrt(x*x+y*y)；
xd＝x*(1+k1*r*r+k2*r*r*r*r)+2*p1*x*y+p2*(r*r+2*x*x)；
yd＝y*(1+k1*r*r+k2*r*r*r*r)+p1*(r*r+2*y*y)+2*p2*x*y；
u_distorted＝fx*xd+cx；v_distorted＝fy*yd+cy。
其中，(cx，cy)为摄像头光心坐标，fx，fy为摄像头焦距，k1,k2为摄像头径向畸变参数,p1,，p2为摄像头切向畸变参数，这些参数均为摄像头内参，通过预先标定得到。
S22，对校正后的图像进行散斑信息提取；散斑信息提取的方案与上述S12中散斑信息提取的方案相同，此处不作赘述。
S23，根据于视差垂直方向的自校正参数对提取散斑信息后的图像进行于视差垂直方向的自校正，生成待处理图像；具体步骤如下：
S231，对输出每个像素点根据于视差垂直方向的自校正参数计算对应的提取散斑信息后的图像坐标；
S232，对输出每个像素点根据S231步骤计算得到的对应的提取散斑信息后的图像坐标，选取与该坐标值距离最近的整像素坐标值对应的像素值直接赋值给该像素点；例如，校正后图像中的(5,5)像素点对应输入图像的像素坐标值为(5,8,15)，则选取提取散斑信息后的图像中的(5,8)坐标对应的像素值直接赋值给校正后图像中的(5,5)像素点，其中水平方向为视差方向，垂直方向为视差垂直方向。
所述于视差垂直方向的自校正参数为于已校正图像中所选像素点对应输入图像中的像素坐标于视差垂直方向的偏移值；所选像素点为在图像的视差方向和视差垂直方向上等间隔选取的像素点。该校正参数初始值全部为0，由步骤S25完成更新。
所述对坐标为(u1,v1)的输出像素点根据于视差垂直方向的自校正参数计算对应的提取散斑信息后的图像坐标(u,v)的具体计算方法如下：
u＝u1；
v＝v1+v_offset；
其中，v_offset即为于视差垂直方向上的偏移值，根据于视差垂直方向的自校正参数中距离(u1,v1)最近的4个选取点的偏移值做双线性插值计算得到；
S24，将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；S24立体匹配的技术方案与上述S13相同，此处不作赘述。
S25，将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，并生成下一帧使用的于视差垂直方向的自校正参数；S25中大范围匹配搜索的方案与S14类似，此处不作赘述。
S26，根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
本实施例所述自校正的深度计算方法能够解决深度视觉成像系统(散斑结构光系统)由于发生系统物理变化(结构光温度变化/结构光模组形变)，计算结构光的深度数据的计算方法将失真或失效的问题。当使用软件计算自校正搜索时，为了降低单帧增加的计算时间，可以将整个搜索过程分多个部分进行，每若干帧只进行一部分计算。保证了自校正算法的效率和低功耗。
本实施例还提供一种介质(亦称计算机可读存储介质)，其上存储有计算机程序，该程序被处理器执行时实现所述自校正的深度计算方法。
本领域普通技术人员可以理解计算机可读存储介质：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例二
本实施例提供一种自校正的深度计算系统，包括：
处理模块，用于根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；
匹配模块，用于将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；
搜索模块，用于将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧使用的校正参数；
深度计算模块，根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
以下将结合图示对本实施例所提供的自校正的深度计算系统进行详细描述。请参阅图6，显示为自校正的深度计算系统于一实施例中的原理结构示意图。如图6所示，所述自校正的深度计算系统6包括处理模块61、匹配模块62、搜索模块63及深度计算模块64。
所述处理模块61用于根据校正参数对输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正。
在本实施例中，所述处理模块61对所述输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正。
具体地，所述处理模块61生成校正表，并根据所述校正表，生成自校正后的图像。其中，所述校正表中的参数为根据预先标定的校正参数及通过将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索获取到像素点于视差垂直方向上的像素偏移值来计算的自校正参数；所述自校正参数为于已校正图像中所选像素点对应输入图像中的像素坐标；所选像素点为在图像的视差方向和视差垂直方向上等间隔选取的像素点。在本实施例中，所述处理模块61在生成校正表的过程中，在后面的每一帧在需要更新时叠加当前计算出的这些选择的点在与视差垂直方向上的偏移值(该偏移值也包含亚像素)。与视差垂直方向上的偏移值累加更新后，所选像素点在视差垂直方向上的偏移值同时更新为0。后面每一帧的更新可以在间隔固定帧进行，也可以在视差垂直方向上的偏移值超过一个阈值时更新,这样可以降低系统功耗。
在本实施例中，所述处理模块61根据所述校正表中的像素坐标采用双线性插值计算自校正后图像中每个点对应输入图像的像素坐标。在本实施例中，通过合并校正降低了校正的计算量，降低了系统功耗。
所述处理模块61还用于对校正后的图像进行散斑信息提取，形成待处理图像；
具体地，所述处理模块61对校正后的图像中的每个像素点计算以该像素点为中心的n*n矩形区域内所有像素的第一亮度均值和以该像素点为中心的m*m矩形区域内最外一圈的所有像素的第二亮度均值；其中，n为大于等于1的奇数，小于等于散斑半径；m为大于n的奇数，大于等于散斑半径。将所述第一亮度均值及与所述第二亮度均值相关的参考系数进行比较，当所述第一亮度均值大于所述参考系数时，认为为中心的像素点存在散斑区域，将该像素点的位置标志为1，否则将该像素点的位置标志为0。
所述处理模块61还可以对经过上述散斑信息提取步骤计算后的只含有0和1像素值的图像中的每个像素点计算以该像素点为中心的i*k矩形区域内像素点为1的个数，若像素点为1的个数小于一阈值，则将该像素点的位置的值赋为0，否则该像素点的位置的值保持不变。在本实施例中，通过所述处理模块61提取散斑信息减少了后续匹配搜索的计算量和需要的存储空间。
或者所述处理模块61先进行畸变校正，再进行散斑提取，再进行视差垂直方向的校正。
在本实施例中，所述处理模块61用于根据畸变校正参数对输入图像进行畸变校正；对校正后的图像进行散斑信息提取；根据于视差垂直方向的自校正参数对提取散斑信息后的图像进行于视差垂直方向的自校正，生成待处理图像。
具体地，所述处理模块61对输出每个像素点根据畸变校正参数计算对应的输入图像坐标；对输出每个像素点根据计算得到的输入图像坐标选取输入图像该坐标值附近4个点的像素值采用双线性插值法计算得到该像素点的亮度值；本实施例的畸变校正逐点计算校正坐标，提升了畸变校正的准确度。
所述处理模块61对输出每个像素点根据于视差垂直方向的自校正参数计算对应的提取散斑信息后的图像坐标；对输出每个像素点根据计算得到的对应的提取散斑信息后的图像坐标，选取与该坐标值距离最近的整像素坐标值对应的像素值直接赋值给该像素点；
所述于视差垂直方向的自校正参数为于已校正图像中所选像素点对应输入图像中的像素坐标于视差垂直方向的偏移值；所选像素点为在图像的视差方向和视差垂直方向上等间隔选取的像素点。
所述匹配模块62用于将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像。
具体地，所述匹配模块62在所述待处理图像中，以任一像素点p1为中心获取一矩形窗rec1。获取所述矩形窗rec1在所述参考图中的对应搜索区域area1，并在所述对应搜索区域area1内进行匹配搜索以获取所述像素点p1的匹配像素点p2，匹配代价可采用归一化互相关。根据所述像素点p1及其匹配像素点p2的位置及匹配代价，获取所述像素点p1的视差值。其中，本实施例以距离变远时结构光图案的移动方向为正方向，上述视差值的绝对值是指所述像素点p1在所述待处理图像中的位置与其匹配像素点p2在所述参考图中的位置之间于视差方向的距离值。当匹配代价小于一个预设的阈值时将所述像素点p1的视差值设为无效值。需要说明的是，本实施例中也可以选取其他方向作为正方向，具体应用中根据实际选取的正方向对上述方案进行相应调整即可。
所述搜索模块63用于将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧使用的校正参数。
具体地，所述搜索模块63对选取的点中视差有效的点直接根据步骤S13的匹配结果，获取其于视差垂直方向上的偏移值；剩余的无效点保持在计算深度时于视差垂直方向的搜索范围，扩大视差方向的搜索范围进行匹配搜索(计算深度时已经搜索的视差方向的搜索范围可以无需搜索，因为已经搜索过没有有效结果)；匹配搜索过程与所述匹配模块62的匹配过程类似，对匹配代价大于等于一个预设的阈值的选取点计算其于视差垂直方向上的偏移值；对剩余无效点再扩大与视差垂直方向的搜索范围进行匹配搜索(前面步骤已经搜索过的搜索范围可以无需搜索，因为已经搜索过没有有效结果)；其中，再扩大与视差垂直方向的搜索范围可以根据与有效点的距离分级进行。其中，与有效点距离越近的点搜索范围越小，与有效点距离越远的点搜索范围越大；对剩余的无效点利用周围的有效点于视差垂直方向上的偏移值计算得到；
所述搜索模块对剩余的无效点利用周围的有效点于视差垂直方向上的偏移值计算得到过程包括对所述剩余的无效点在上下和左右方向找距离最近的有效点，对4个方向都有有效点的点用双线性插值得到该点在视差垂直方向上的偏移值；对上下或左右都有有效点的点用线性插值得到该点在视差垂直方向上的偏移值；对计算后剩余的无效点重复一次所述的两种插值；对最后剩余的无效点用距离最近的有效点与视差垂直方向上的偏移值直接赋值(当上下和左右方向距离最近的两个点的距离相同时，可以任意采用一个方向)。
在本实施例中，通过分级搜索，降低了大范围搜索的计算量。由于正常情况下在使用过程中结构变化速度很慢，还可以将搜索模块63的整个搜索过程分为多个部分进行，在完成一次计算后，每若干帧只进行一部分计算，以进一步降低系统功耗。
所述深度计算模块64用于根据输入图像的视差图像和标定参数，计算所述输入图像的深度图；对于视差有效的所有像素点根据视差计算深度的公式计算深度，对于视差无效的所有像素点，将深度值也赋为无效值。
所述从视差计算深度的公式如下：
Figure BDA0002892527370000131
其中，Z为场景中待测目标点到相机透镜平面的距离，即深度；R为参考平面到透镜平面的距离(由标定环境确定)，d为计算出的视差(距离变远时结构光图案移动方向为正方向)，f为接收器相机焦距(可以通过相机内参标定得到)，b为投射器器与接收器透视中心的连线长度(即基线距离，可以通过结构设计控制在一个范围内)。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本申请实施例一种深深度图像处理设备，所述深度图像处理设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使深度图像处理设备执行如实施例一所述自校正的深度计算方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的自校正的深度计算方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种自校正的深度计算系统，所述自校正的深度计算系统可以实现本发明所述的自校正的深度计算方法，但本发明所述的自校正的深度计算方法的实现装置包括但不限于本实施例列举的自校正的深度计算系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述自校正的深度计算方法、系统、介质及深度图像处理设备能够解决深度视觉成像系统(散斑结构光系统)由于发生系统物理变化(结构光模组温度变化/结构光模组形变)，计算结构光的深度数据的计算方法将失真或失效的问题。当使用软件计算自校正搜索时，为了降低单帧增加的计算时间，可以将整个搜索过程分多个部分进行，每若干帧只进行一部分计算。保证了自校正算法的效率和低功耗。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种自校正的深度计算方法，其特征在于，包括：
根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；
将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；
将所述待处理图像选取部分像素点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧图像使用的校正参数；
根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
2.根据权利要求1所述的自校正的深度计算方法，其特征在于，所述根据校正参数对输入图像进行校正的步骤包括：
对所述输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正。
3.根据权利要求2所述的自校正的深度计算方法，其特征在于，所述对所述输入图像进行畸变校正及于视差垂直方向上的自校正的合并校正的步骤包括：
生成校正表；所述校正表中的参数为根据预先标定的校正参数及通过将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索获取到像素点于视差垂直方向上的像素偏移值来计算的自校正参数；所述自校正参数为于已校正图像中所选像素点对应输入图像中的像素坐标；所选像素点为在图像的视差方向和视差垂直方向上等间隔选取的像素点；
根据所述校正表，生成自校正后的图像；其中，自校正后图像中每个点对应输入图像的像素坐标是根据所述校正表中的像素坐标采用双线性插值计算所得。
4.根据权利要求1或3所述的自校正的深度计算方法，其特征在于，散斑信息提取的步骤包括：
对所述输入图像或校正后的图像中的每个像素点计算以该像素点为中心的n*n矩形区域内所有像素的第一亮度均值和以该像素点为中心的m*m矩形区域内最外一圈的所有像素的第二亮度均值；
其中，n为大于等于1的奇数且小于等于散斑直径；m为大于n的奇数，且大于等于散斑直径；
将所述第一亮度均值及与所述第二亮度均值相关的参考系数进行比较，当所述第一亮度均值大于所述参考系数时，认为为中心的像素点存在散斑区域，将该像素点的位置标志为1，否则将该像素点的位置标志为0。
5.根据权利要求1或3所述的自校正的深度计算方法，其特征在于，散斑信息提取的步骤包括：
对所述提取散斑信息后的图像中的每个像素点计算以该像素点为中心的i*k矩形区域内像素点为1的个数，若像素点为1的个数小于一阈值，则将该像素点的位置标志为0，否则该像素点的位置标志保持不变。
6.根据权利要求1所述的自校正的深度计算方法，其特征在于，在获取所述输入图像的视差图像的步骤的同时，所述自校正的深度计算方法还包括将与预存的参考图视差不匹配的点设置为无效视差点。
7.根据权利要求1所述的自校正的深度计算方法，其特征在于，所述将所述待处理图像选取部分像素点与预存的参考图进行大范围匹配搜索的步骤包括：
于与视差垂直方向上于预设小范围区域内进行小范围搜索，以获取选取的点中视差有效的点在与视差垂直方向上的偏移值；
对剩余点保持在计算深度时于视差垂直方向的搜索范围，扩大视差方向的搜索范围进行搜索；
再扩大与视差垂直方向的搜索范围；其中，再扩大与视差垂直方向的搜索范围可以根据与有效点的距离分级进行。
8.一种自校正的深度计算系统，其特征在于，包括：
处理模块，用于根据校正参数对输入图像进行校正和散斑信息提取，形成待处理图像；
匹配模块，用于将所述待处理图像与预存的参考图于视差方向进行立体匹配，以获取所述输入图像的视差图像；
搜索模块，用于将所述待处理图像选取部分点与预存的参考图进行大范围匹配搜索，以获取大范围匹配搜索的像素点于视差垂直方向上的像素偏移值，用于生成下一帧使用的校正参数；
深度计算模块，根据输入图像的视差图像和标定参数，计算所述输入图像的深度图。
9.一种介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述自校正的深度计算方法。
10.一种深度图像处理设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述深度图像处理设备执行如权利要求1至7中任一项所述自校正的深度计算方法。
CN202110031654.0A 2021-01-11 2021-01-11 自校正的深度计算方法、系统、介质及深度图像处理设备 Pending CN114764823A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110031654.0A CN114764823A (zh) 2021-01-11 2021-01-11 自校正的深度计算方法、系统、介质及深度图像处理设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110031654.0A CN114764823A (zh) 2021-01-11 2021-01-11 自校正的深度计算方法、系统、介质及深度图像处理设备

Publications (1)

Publication Number Publication Date
CN114764823A true CN114764823A (zh) 2022-07-19

Family

ID=82362941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110031654.0A Pending CN114764823A (zh) 2021-01-11 2021-01-11 自校正的深度计算方法、系统、介质及深度图像处理设备

Country Status (1)

Country Link
CN (1) CN114764823A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116818129A (zh) * 2023-05-08 2023-09-29 广州图语信息科技有限公司 应用于结构光重建的温度估计与热畸变校正方法
CN116993797A (zh) * 2023-09-26 2023-11-03 埃洛克航空科技（北京）有限公司 深度图无效点的估计方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116818129A (zh) * 2023-05-08 2023-09-29 广州图语信息科技有限公司 应用于结构光重建的温度估计与热畸变校正方法
CN116818129B (zh) * 2023-05-08 2024-01-12 广州图语信息科技有限公司 应用于结构光重建的温度估计与热畸变校正方法
CN116993797A (zh) * 2023-09-26 2023-11-03 埃洛克航空科技（北京）有限公司 深度图无效点的估计方法和装置
CN116993797B (zh) * 2023-09-26 2023-12-22 埃洛克航空科技（北京）有限公司 深度图无效点的估计方法和装置

Similar Documents

Publication Publication Date Title
CN110348454B (zh) 匹配局部图像特征描述符
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US10659762B2 (en) Stereo camera
JP6317456B2 (ja) 車両用のステレオ／ビデオシステム内の相対的なヨー角の変化を検知するための方法および制御装置
Melo et al. Unsupervised intrinsic calibration from a single frame using a" plumb-line" approach
JP2019145085A (ja) 点群データ収集軌跡を調整するための方法、装置、およびコンピュータ読み取り可能な媒体
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN112435193B (zh) 一种点云数据去噪的方法、装置、存储介质和电子设备
CN114764823A (zh) 自校正的深度计算方法、系统、介质及深度图像处理设备
WO2020017334A1 (ja) 車載環境認識装置
CN110738730B (zh) 点云匹配方法、装置、计算机设备和存储介质
CN111915681B (zh) 多组3d相机群的外参标定方法、装置、存储介质及设备
Bhayani et al. Calibrated and partially calibrated semi-generalized homographies
CN113034565B (zh) 一种单目结构光的深度计算方法及系统
JP5973767B2 (ja) 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
TW201605225A (zh) 產生深度影像之方法及其系統及電腦程式產品
JP2018073308A (ja) 認識装置、プログラム
CN117495975A (zh) 一种变焦镜头的标定方法、装置及电子设备
US10269131B2 (en) Image processing apparatus and image processing method
KR20200142392A (ko) 동위의 3차원 마커 사이의 회전 및 이동 위치 추정 방법
CN110232715B (zh) 一种多深度相机自校准的方法、装置及系统
CN114966578A (zh) 基于拍摄设备的雷达外参标定方法、装置和计算机设备
CN110060343B (zh) 地图构建方法及系统、服务器、计算机可读介质
CN113706505A (zh) 一种去除深度图像中局外点的圆柱拟合方法和装置
CN112750164A (zh) 轻量化定位模型的构建方法、定位方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination