CN113643208A - 一种深度图像仿射采样方法及装置 - Google Patents

Abstract

本申请提供一种深度图像仿射采样方法及装置，包括：3D扫描系统以及PC处理端，方法包括：先输入采样参数，确定待测深度图像需要采样的区域，计算待测深度图像采样后的物理参数，将采样前深度图像需要采样的区域以一定步长映射在采样后的深度图像，得到映射后的待测深度图像所有像素点，对像素点进行插值采样。然后判断像素点的有效性；若像素点无效，则输出为无效像素点，若像素点有效，根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及像素点像素高度值重新计算映射后的待测深度图像的像素高度值。最后汇总所有像素点的有效性以及像素点高度值，输出采样后的深度图像。解决了深度图像仿射采样结果存在畸变、精度下降的问题。

Description

一种深度图像仿射采样方法及装置

技术领域

本发明涉及视觉图像领域，具体涉及一种深度图像仿射采样方法及装置。

背景技术

在视觉图像、点云领域，深度图像可用于反映物体可见表面的三维几何形状，其中各个点的像素值表征场景中某一点距离摄像机的远近。通过对深度图像进行仿射采样，可以提取局部区域的深度图像、改变局域区域或全局深度图像的尺寸、修改深度图像的物理空间分辨率，便于实现物体的高度测量、体积测量或其他的检测操作。

但是，由于深度图像存在物理空间，物理空间存在相应的横纵分辨率，其横纵分辨率不一定相等，因此直接对深度图像的图像空间进行仿射采样将导致其物理空间畸变，无法保证进行后续测量、检测操作的准确性；而且深度图像中并不是每个分辨率位置必然对应一个深度图像像素点，也就是存在无效像素点，由于仿射采样后深度图像尺寸可能发生变化，深度图像原本存在的无效像素区域将有一定程度的变化，仿射采样过程中对无效像素点的处理方式对后续测量、检测操作的准确性同样会造成较大影响。

因此，针对深度图像仿射采样结果中存在的畸变、精度下降问题，本发明提出一种深度图像仿射采样方法及装置，可以实现对深度图像的快速和高精度仿射采样。

发明内容

针对深度图像仿射采样结果中存在的畸变、精度下降问题，本发明提出一种深度图像仿射采样方法及装置，可以实现对深度图像的快速和高精度仿射采样，该方法能够保证深度图像物理形态无畸变的前提下，完成仿射采样，并且可以保证采样前后的深度图像的特征边缘轮廓一致，且与采样前深度图像同一区域的体积、物理形态信息一致。

第一方面，本申请提供了一种深度图像仿射采样方法，包括：

S10，输入采样参数，并确定待测深度图像需要采样的区域；

S20，根据所述采样参数，计算待测深度图像采样后的物理参数；

S30，根据所述物理参数，将采样前所述待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像；

S40，根据所述映射后的待测深度图像，得到所述映射后的待测深度图像内所有像素点，对所述像素点进行插值采样，

S50，判断所述像素点的有效性；

若所述像素点无效，则输出为无效像素点；

S60，若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

S70，汇总所有像素点的有效性以及像素点高度值，输出采样后的深度图像。

进一步地，所述采样参数包括：仿射矩形位置、尺寸与形状信息以及采样尺寸。

进一步地，所述输入采样参数包括：利用所述仿射矩形进行采样；

对圆形、椭圆形、环形、多边形区域任一区域进行采样。

进一步地，所述物理参数包括：待测深度图像采样后的横纵分辨率以及物理偏移量。

进一步地，所述根据所述横纵分辨率以及物理偏移量，将采样前所述待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像包括：据所述物理参数，计算所述待测深度图像需要采样区域的采样步长。

进一步地，所述插值采样包括但不限于：线性插值、最近邻插值、双线性插值以及双立方插值中的至少一种。

进一步地，所述采样参数包括：仿射矩形形状、尺寸、形状信息以及待测深度图像采样后的横纵分辨率。

进一步的，判断所述待测深度图像变换后的像素点是否位于变换前的深度图像有效像素位置；

若是，则输出为有效像素点；

若否，则输出为无效像素点。

第二方面，本申请提供了一种应用于第一方面所述方法的深度图像仿射采样装置，所述深度图像仿射采样装置包括：3D扫描系统以及PC处理端；

所述3D扫描系统包括激光传感器、双目相机；

所述3D扫描系统被配置为扫描所述深度图像；

所述PC处理端被配置为处理所述采样参数以及物理参数；

所述激光传感器被配置为确定待测深度图像需要采样的区域；

所述双目相机被配置为形成所述深度图像的三维几何形状。

本申请提供一种深度图像仿射采样方法及装置，包括：3D扫描系统以及PC处理端，其中3D扫描系统包括激光传感器、双目相机，方法包括：先输入采样参数，并确定待测深度图像需要采样的区域，计算待测深度图像采样后的物理参数，将采样前待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像，得到映射后的待测深度图像内所有像素点，对像素点进行插值采样。然后判断像素点的有效性；若像素点无效，则输出为无效像素点，若像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及像素点像素高度值重新计算映射后的待测深度图像的像素高度值。最后汇总所有像素点的有效性以及像素点高度值，输出采样后的深度图像。解决了深度图像仿射采样结果中存在的畸变、精度下降的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种深度图像仿射采样方法步骤示意图；

图2为本申请示出的一种深度图像仿射采样方法的仿射矩形形状示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

机器视觉在工业生产中应用广泛，常用于四类功能：视觉引导与定位、模式有无识别检测、精准测量测距和产品外观检测等。概括的说，工业机器视觉系统的特点是提高生产的柔性和自动化程度，主要在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。

在视觉图像、点云领域，深度图像可用于反映物体可见表面的三维几何形状，其中各个点的像素值表征场景中某一点距离摄像机的远近。通过对深度图像进行仿射采样，可以提取局部区域的深度图像、改变局域区域或全局深度图像的尺寸、修改深度图像的物理空间分辨率，便于实现物体的高度测量、体积测量或其他的检测操作。

对于二维坐标系的一个坐标点(x，y)，可以使用一个2x2矩阵来调整x，y的值，而通过调整x，y可以实现二维形状的线性变换(旋转，缩放)，所以整个转换过程就是对(x，y)调整的过程。

仿射变换(Affine Transformation)是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射由一个非奇异的线性变换(运用一次函数进行的变换)接上一个平移变换组成。在有限维的情况，每个仿射变换可以由一个矩阵A和一个向量b给出，它可以写作A和一个附加的列b。一个仿射变换对应于一个矩阵和一个向量的乘法，而仿射变换的复合对应于普通的矩阵乘法，只要加入一个额外的行到矩阵的底下，这一行全部是0除了最右边是一个1，而列向量的底下要加上一个1。

Affine Transformat类描述了一种二维仿射变换的功能，它是一种二维坐标到二维坐标之间的线性变换，保持二维图形的"平直性"(译注:straightness，即变换后直线还是直线不会打弯，圆弧还是圆弧)和"平行性"(译注:parallelness常用的仿射变换:旋转、倾斜、平移、缩放allelness，其实是指保持二维图形间的相对位置关系不变，平行线还是平行线，而直线上点的位置顺序不变，另特别注意向量间夹角可能会发生变化。)仿射变换可以通过一系列的原子变换的复合来实现，包括:平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和错切(Shear)。

其中平直性包括：

直线经仿射变换后还是直线；圆弧经仿射变换后还是圆弧。

其中平行性包括：

直线之间的相对位置关系保持不变；平行线经仿射变换后依然为平行线；直线上点的位置顺序不会发生变化；向量间夹角可能会发生变化。

但是之前的方法中，一般采用直接对深度图像的图像空间进行仿射采样。如果这样操作无法考虑深度图像存在的物理空间，而最终会导致深度图像发生物理空间畸变，因此无法保证进行后续测量以及检测操作的准确性。另外，我们要明确，深度图像中并不是每个分辨率位置必然对应一个深度图像像素点，简单来说，即是深度图像中存在无效像素点，而且仿射采样后深度图像尺寸很可能发生变化，因此深度图像原本存在的无效像素点也将有变化，进而导致深度图像的无效像素区域将有一定程度的变化，仿射采样过程中对无效像素点的处理方式对后续测量、检测操作的准确性同样会造成较大影响。

因此为了防止深度图像发生物理空间畸变，提升仿射采样过程中测量、检测操作的准确性，本申请提供一种深度图像仿射采样方法及装置。

实施例一

请参阅图1，为本发明提供的一种深度图像仿射采样方法及装置的第一实施例，深度图像仿射采样装置包括：3D扫描系统以及PC处理端，其中3D扫描系统包括激光传感器、双目相机。

双目立体视觉(Binocular Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图。

双目立体视觉测量方法具有效率高、精度合适、系统结构简单、成本低等优点，非常适合于制造现场的在线、非接触产品检测和质量控制。对运动物体(包括动物和人体形体)测量中，由于图像获取是在瞬间完成的，因此立体视觉方法是一种更有效的测量方法。双目立体视觉系统是计算机视觉的关键技术之一,获取空间三维场景的距离信息也是计算机视觉研究中最基础的内容。

一种深度图像仿射采样方法包括：

输入采样参数，并确定待测深度图像需要采样的区域；

根据所述采样参数，计算待测深度图像采样后的物理参数；

根据所述物理参数，将采样前所述待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像；

可以根据采样前深度图像与采样后深度图像的像素点映射关系对应表来确定第二图像分块的最大像素。

比如，当确定采样后深度图像的最大像素为30像素×30像素，此时，将采样前深度图像按照30像素×30像素进行分块处理，然后对所得到的采样后深度图像分块进行计算，计算得到采样后深度图像分块四个顶点的坐标，根据坐标及映射关系得到对应的采样前深度图像四个顶点的坐标，从而计算得到采样后深度图像分块在采样前深度图像中对应的图像块需要占用的存储空间大小，比较此分块方案需要占用的采样前深度图像存储空间与设计定的采样前深度图像缓存区的大小，如果需占存储空间大于采样前深度图像缓存区，此分块方案会出现溢出，则需要尝试更小的分块方案，例如30像素×20像素分块，直到不会溢出。同时，由于采样后深度图像块大小要考虑输出模块的带宽损耗，分块大小改变的步长为5个像素。

根据所述映射后的待测深度图像，得到所述映射后的待测深度图像内所有像素点，对所述像素点进行插值采样；

进一步地，所述插值采样包括但不限于：线性插值、最近邻插值、双线性插值以及双立方插值中的至少一种；

其中线性插值法是指使用连接两个已知量的直线来确定在这两个已知量之间的一个未知量的值的方法。

进一步地，最临近插值，通常被用于图像缩放中，进行缩放图像的方法叫做最临近插值算法，这是一种最基本、最简单的图像缩放算法。效果并不好，放大后的图像有很严重的马赛克，缩小后的图像有很严重的失真；效果不好的根源就是其简单的最临近插值方法引入了严重的图像失真。

进一步地，双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。

双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。

当对相邻四个像素点采用双线性插值时，所得表面在邻域处是吻合的，但斜率不吻合。并且双线性灰度插值的平滑作用可能使得图像的细节产生退化，这种现象在进行图像放大时尤其明显。

进一步地，双三次插值(Bicubic interpolation)又叫双立方插值，用于在图像中"插值"(Interpolating)或增加"像素"(Pixel)数量/密度的一种方法。通常利用插值技术增加图形数据，以便在它打印或其他形式输出的时候，能够增大打印面积以及(或者)分辨率。

双三次插值是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。请读者留意下图中的眼睫毛部分，在这个地方，软件通过双三次插值创造了一个象素，而这个象素的象素值是由它附近的(4x4)个邻近象素值推算出来的，因此精确度较高。双三次插值方法通常运用在一部分图像处理软件、打印机驱动程序和数码相机中，对原图像或原图像的某些区域进行放大。Adobe Photoshop CS更为用户提供了两种不同的双三次插值方法:双三次插值平滑化和双三次插值锐化。

目前有不同的插值技术可供选用。双立方插值通常能产生效果最好，最精确的插补图形，但它速度也几乎是最慢的。"双线性插值"(Bilinear interpolation)的速度则要快一些，但没有前者精确。在商业性图像编辑软件中，经常采用的是速度最快，但也是最不准确的"最近相邻"(Nearest Neighbor)插值。其他一些插值技术通常只在高档或单独应用的程序中出现。

显然，无论技术多么高级，插补过的数据肯定没有原始数据准确。这意味着对一个图形文件进行插值处理后，虽然文件长度增加了(数据量增大)，但不会有原先那幅图锐利，可能会在图形质量上打折扣。

判断所述像素点的有效性；

若所述像素点无效，则输出为无效像素点；

若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

汇总所有像素点的有效性以及像素点高度值，输出采样后的深度图像。

其中，所述待测深度图像采样后的物理参数包括待测深度图像采样后的横纵分辨率以及物理偏移量。

进一步的，判断所述待测深度图像变换后的像素点是否位于变换前的深度图像有效像素位置；

若是，则输出为有效像素点；

若否，则输出为无效像素点。

进一步地，所述根据所述横纵分辨率以及物理偏移量，将采样前所述待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像包括：据所述物理参数，计算所述待测深度图像需要采样区域的采样步长。

本实施例是基于采样长度的深度图像仿射采样，因此采样参数包括：仿射矩形形状、尺寸与形状信息，以及采样尺寸，其中，PC处理端被配置为处理所述采样参数。

本实施例的有益效果在于，利用物理参数计算策略，计算采样后深度图像的物理参数，可以保证深度图像物理形态无畸变的前提下，完成仿射采样；插值采样过程考虑了有效像素点、无效像素点，以及有效像素点邻域的有效像素点数量、位置及其高度值信息，保证采样前后的深度图像的特征边缘轮廓一致，且与采样前深度图像同一区域的体积、物理形态信息一致，保证准确完成仿射采样过程。

实施例二

请参阅图2，为一种深度图像仿射采样方法的仿射矩形形状示意图，仿射矩形包括常见的正方形、长方形、平行四边形等，其形状信息包括旋转角、切变角，本实施例着手于对输入采样参数的改进，上述方法已说明采样参数包括：仿射矩形形状、尺寸、形状信息以及采样尺寸，而在本实施例中，输入采样参数包括：利用所述仿射矩形进行采样；对圆形、椭圆形、环形、多边形等区域任一区域进行采样，然后基于当前的采样参数，准确计算采样后深度图像的物理参数，包括横纵分辨率以及物理偏移，保证采样前后深度图像相同区域形态一致，不出现畸变；根据采样后深度图像的物理参数和物理偏移量，将采样前深度图像中仿射矩形内的区域以一定步长映射在采样后的深度图像，同时对映射像素点进行插值采样处理，对于无效像素点，则输出无效像素点，对于有效像素点，则根据邻域范围内的有效或无效像素数、像素位置及其像素高度值重新计算对应于变换后深度图像的像素高度值，使得采样前后深度图像在同一区域的体积、形态、边缘轮廓基本一致。

根据仿射变换可以保持二维图像的“平直性”也就是：直线经仿射变换后还是直线；圆弧经仿射变换后还是圆弧。因此，在深度图像中对圆形、椭圆形、环形等特征区域进行仿射采样，得到不同特征区域的深度图像数据，有利于圆、椭圆等几何体的拟合。

实施例三

本实施例同样着手于对输入采样参数的改进，上述方法是基于采样长度对深度图像进行仿射采样的方法，也就是采样参数包括：仿射矩形形状、尺寸、形状信息以及采样尺寸，而在本实施例中，所述采样参数包括：仿射矩形形状、尺寸、形状信息以及采样后深度图像的横纵分辨率，进行处理，这样可以直接进行后续的插值采样，根据采样后深度图像的横纵分辨率和物理偏移量，将采样前深度图像中仿射矩形内的区域以一定步长映射在采样后的深度图像，同时对映射像素点进行插值采样处理，对于无效像素点，则输出无效像素点，对于有效像素点，则根据邻域范围内的有效或无效像素数、像素位置及其像素高度值重新计算对应于变换后深度图像的像素高度值，这是适用于基于横纵分辨率对深度图像进行仿射采样，实现深度图像横纵分辨率的调整。

因为插值采样过程考虑了有效像素点、无效像素点，以及有效像素点邻域的有效像素点数量、位置及其高度值信息，所以保证采样前后的深度图像的特征边缘轮廓一致，且与采样前深度图像同一区域的体积、物理形态信息一致，保证准确完成仿射采样过程。

由以上技术方案可知，本申请提供一种深度图像仿射采样方法及装置，包括：3D扫描系统以及PC处理端，其中3D扫描系统包括激光传感器、双目相机，方法包括：先输入采样参数，并确定待测深度图像需要采样的区域，计算待测深度图像采样后的物理参数，将采样前待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像，得到映射后的待测深度图像内所有像素点，对像素点进行插值采样。然后判断像素点的有效性；若像素点无效，则输出为无效像素点，若像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及像素点像素高度值重新计算映射后的待测深度图像的像素高度值。最后汇总所有像素点的有效性以及像素点高度值，输出采样后的深度图像。解决了深度图像仿射采样结果中存在的畸变、精度下降的问题。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种深度图像仿射采样方法，其特征在于，所述方法包括：

输入采样参数，并确定待测深度图像需要采样的区域；

根据所述采样参数，计算待测深度图像采样后的物理参数；

根据所述物理参数，将采样前所述待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像；

根据所述映射后的待测深度图像，得到所述映射后的待测深度图像内所有像素点，对所述像素点进行插值采样，并判断所述像素点的有效性；

若所述像素点无效，则输出为无效像素点；

若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

汇总所有像素点的有效性以及像素点高度值，输出采样后的深度图像。

2.根据权利要求1所述一种深度图像仿射采样方法，其特征在于，所述采样参数包括：

仿射矩形位置、尺寸与形状信息以及采样尺寸。

3.根据权利要求2所述一种深度图像仿射采样方法，其特征在于，所述输入采样参数包括：

利用所述仿射矩形进行采样；

对圆形、椭圆形、环形、多边形区域任一区域进行采样。

4.根据权利要求2或3所述一种深度图像仿射采样方法，其特征在于，所述采样参数包括：

待测深度图像采样后的横纵分辨率。

5.根据权利要求1所述一种深度图像仿射采样方法，其特征在于，所述物理参数包括：

待测深度图像采样后的横纵分辨率以及物理偏移量。

6.根据权利要求5所述一种深度图像仿射采样方法，其特征在于，所述根据所述横纵分辨率以及物理偏移量，将采样前所述待测深度图像需要采样的区域以一定步长映射在采样后的待测深度图像包括：

根据所述物理参数，计算所述待测深度图像需要采样区域的采样步长。

7.根据权利要求5或6所述一种深度图像仿射采样方法，其特征在于，所述插值采样采用线性插值、最近邻插值、双线性插值以及双立方插值中的至少一种。

8.根据权利要求1所述的一种深度图像仿射采样方法，其特征在于，所述判断像素点的有效性包括：

判断所述待测深度图像变换后的像素点是否位于变换前的深度图像有效像素位置；

若是，则输出为有效像素点；

若否，则输出为无效像素点。

9.一种应用于权利要求1所述方法的深度图像仿射采样装置，其特征在于，所述深度图像仿射采样装置包括：

3D扫描系统以及PC处理端；

所述3D扫描系统包括激光传感器、双目相机；

所述3D扫描系统被配置为扫描所述深度图像；

所述PC处理端被配置为处理所述采样参数以及物理参数；

所述激光传感器被配置为确定待测深度图像需要采样的区域；

所述双目相机被配置为形成所述深度图像的三维几何形状。

Images