CN113628117A - 一种深度图像旋转变换方法及装置 - Google Patents

Abstract

本申请公开了一种深度图像旋转变换方法及装置。包括：采集单元以及PC处理端，针对深度图像旋转变换中存在的物理形态变形、准确性下降的问题，本发明提出一种深度图像旋转变换方法，可以实现深度图像的高精度变换。其中，方法包括：本发明主要对深度图像进行旋转变换处理，基于设置的旋转变换角度，计算变换后深度图像的尺寸及物理参数，物理参数包括横纵分辨率和物理偏移量；然后计算变换前后深度图像物理变换矩阵，将变换后深度图的像素点逐个变换到变换前的深度图，进而使用插值采样确定变换后深度图像像素点的有效性及高度值，最后对旋转变换后的空白区域进行填充，实现深度图像的快速高精度旋转变换。

Description

一种深度图像旋转变换方法及装置

技术领域

本发明涉及视觉图像领域，具体涉及一种深度图像旋转变换方法及装置。

背景技术

在视觉图像、点云领域，深度图像可用于反映物体可见表面的三维几何形状，其中各个点的像素值表征场景中某一点距离摄像机的远近。通过对深度图像进行旋转变换，可以校正深度图像的角度位置，改变像素点在物理空间的位置，校正深度图像位置后利于通过图像实现物体的检测、测量等操作。

但是，由于深度图像存在物理空间，物理空间拥有相应的横纵分辨率，其横纵分辨率不一定相等，因此直接对深度图像在图像空间进行旋转变换，会导致其物理发生变化；同时，根据深度图像旋转变换中的变换关系确定的像素点高度值可以通过插值采样确定，经过插值操作，深度图像原本存在的无效像素区域边缘将有一定程度的变化，对无效像素点的处理方式对后续测量、检测的准确性同样会造成较大影响。

因此，针对深度图像旋转变换中存在的物理形态变形、准确性下降的问题，本发明提出一种深度图像旋转变换方法，可以实现深度图像的高精度变换。

发明内容

针对深度图像旋转变换中存在的物理形态变形、准确性下降的问题，本发明提出一种深度图像旋转变换方法，可以实现深度图像的和高精度变换，该方法能够保证在深度图像物理形态无变形的前提下，快速完成旋转变换，并且可以保证变换后深度图像的特征边缘轮廓与变换前一致，且与变换前的体积、物理形态信息相同。

第一方面，本申请提供了一种深度图像旋转变换方法，包括：

获取待测深度图像的物理参数；

设定所述待测深度图像的旋转变换角度；

根据所述设定的待测深度图像旋转变换角度以及所述物理参数，计算待测深度图像变换后的物理参数；

根据所述待测深度图像变换后的物理参数，建立待测深度图像变换前后的像素位置关系；

根据所述待测深度图像变换前后的像素位置关系，得到待测深度图像变换后的像素点；

对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置，对所述像素点进行插值采样；

判断像素点的有效性；

若所述像素点无效，则输出为无效像素点；

若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

汇总所有像素点的有效性以及像素点高度值；

根据所述对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置结果，填充旋转变换后深度图像的空白区域，输出旋转变换后的深度图像。

进一步地，根据所述设定的待测深度图像旋转变换角度，变换待测深度图像到物理空间；

根据所述变换待测深度图像到物理空间结果，确定待测深度图像变换后的尺寸。

进一步地，所述建立待测深度图像变换前后的像素位置关系包括：待测深度图像变换前后的物理参数以及空间旋转关系。

进一步地，所述物理参数包括：待测深度图像采样后的横纵分辨率以及物理偏移量。

进一步地，所述插值采样方法包括但不限于线性插值、最近邻插值、双线性插值、双立方插值及其组合的插值方法；

进一步地，所述建立待测深度图像变换前后的像素位置关系包括：待测深度图像变换前后的高度参数以及空间旋转关系。

进一步地，所述建立待测深度图像变换前后的像素位置关系包括：待测深度图像在图像空间与物理空间之间转换，待测深度图像在转换的同时完成旋转变换。

进一步地，所述高度参数包括：高度分辨率、高度偏移量以及高度方向轴的变换关系。

进一步的，判断所述待测深度图像变换后的像素点是否位于变换前的深度图像有效像素位置；

若是，则输出为有效像素点；

若否，则输出为无效像素点。

第二方面，本申请提供了一种应用于第一方面所述方法的深度图像旋转变换装置，所述深度图像旋转变换装置包括：

采集单元以及PC处理端；

所述采集单元包括获取模块、分析模块以及成像模块；

所述采集单元被配置为采集待测深度图像；

所述PC处理端被配置为处理所述采样参数以及物理参数；

所述获取模块被配置为获取待测深度图像尺寸；

所述分析模块被配置为分析待测深度图像旋转变换角度；

所述成像模块被配置为形成所述深度图像的三维几何形状。

本申请提供一种深度图像旋转变换方法及装置，包括：采集单元以及PC处理端，其中采集单元包括获取模块、分析模块以及成像模块，方法包括：先设定待测深度图像旋转变换角度，并确定变换前待测深度图像的物理参数，变换待测深度图像到物理空间，确定待测深度图像变换后的尺寸，计算待测深度图像变换后的物理参数，建立待测深度图像变换前后的像素位置关系，根据所述待测深度图像变换前后的像素位置关系，得到待测深度图像变换后的像素点，对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置，对所述像素点进行插值采样。然后判断像素点的有效性，若所述像素点无效，则输出为无效像素点，若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值，汇总所有像素点的有效性以及像素点高度值，根据所述对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置结果，填充旋转变换后深度图像的空白区域，输出旋转变换后的深度图像。解决了深度图像旋转变换结果中存在的畸变、精度下降的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请示出的一种深度图像旋转变换方法步骤示意图；

图2为本申请示出的一种深度图像旋转变换装置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

机器视觉在工业生产中应用广泛，常用于四类功能：视觉引导与定位、模式有无识别检测、精准测量测距和产品外观检测等。概括的说，工业机器视觉系统的特点是提高生产的柔性和自动化程度，主要在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。

在视觉图像、点云领域，深度图像可用于反映物体可见表面的三维几何形状，其中各个点的像素值表征场景中某一点距离摄像机的远近。通过对深度图像进行旋转变换，可以提取局部区域的深度图像、改变局域区域或全局深度图像的尺寸、修改深度图像的物理空间分辨率，便于实现物体的高度测量、体积测量或其他的检测操作。

旋转变换是由一个图形改变为另一个图形，在改变过程中，原图上所有的点都绕一个固定的点换同一方向，转动同一个角度。欧氏几何中的一种重要变换，即在欧氏平面上(欧氏空间中)，让每一点P绕一固定点(固定轴线)旋转一个定角，变成另一点P′，如此产生的变换称为平面上(空间中)的旋转变换。此固定点(固定直线)称为旋转中心(旋转轴)，该定角称为旋转角。旋转是第一种正交变换。

但是之前的方法中，一般采用直接对深度图像在图像空间进行旋转变换。但是，由于深度图像存在物理空间，物理空间存在相应的横纵分辨率，其横纵分辨率不一定相等，因此直接对深度图像在图像空间进行旋转变换，会导致其物理形态变形；同时，根据旋转中的变换关系确定的像素点的高度值通过插值采样确定，经过插值，深度图像原本存在的无效像素区域边缘将有一定程度的变化，对无效像素点的处理方式对后续测量、检测的准确性同样会造成较大影响。

因此，为防止深度图像旋转变换中存在的物理形态变形、准确性下降的问题，本发明提出一种深度图像旋转变换方法，可以实现深度图像的高精度变换。

实施例一

请参阅图1以及图2，为本发明提供的一种深度图像旋转变换方法及装置的第一实施例，第一方面，深度图像旋转变换装置包括：采集单元以及PC处理端，其中采集单元包括获取模块、分析模块以及成像模块。

所述成像模块被配置为形成所述深度图像的三维几何形状，而获得3D图像有几种不同的方式。

最传统的激光三角测量法，这种方法可用于木材，橡胶和轮胎等垂直领域，以及汽车和轴的测量，金属和铸铁工业或其他应用如道路表面的测量。

对于激光三角测量，需要在结构化光源(如激光线投影)上精确校准相机，以确保即使在高环境温度下也能获得高于1kHz的高采样率。通常测试对象在3D传感器下方移动以捕获3D点云。这意味着摄像机将检测投射到物体上的激光线，并根据激光线轮廓计算高度信息。在相机下移动物体时，会创建多个配置文件，用于完成三维图像。典型的设置包含一个激光器，它直接位于测试对象和相机之间，相机与激光器成30°角安装。但是激光和相机的其他角度组合也是可以的。例如，为了获得更准确的高度分辨率，相机和激光之间的角度可以加宽。但必须注意的是，角度越小，进入照相机的光就越多，评估结果就会更稳定。

现在有越来越多的软件可以处理3D图像数据。该软件可以将捕获的数据转换为点云，可以直接进行比较，使分析变得更加容易。

进一步地，除了激光三角测量方法之外，还有一种称为“条纹投影”的方法。基本原理也是三角测量，但是测试对象的整个表面都是用一次拍摄捕捉的。激光将光投射到条纹图案中，因此物体不必在传感器下方移动。光线从30°角投射到物体上，相机正对下方物体。

测量范围可以从不到一毫米缩放到一米以上，但分辨率也可以相应地变化。由于其测量速度快，分辨率高，条纹投影可以用于小型和大型测试物体，在工业检查中，应用于包括形状偏差检查，完整性检测，组件部件位置或体积测量等。但需要注意的是，条纹投影对周围的光很敏感。

进一步地，3D立体相机是另一种方法。它已经存在多年，越来越多地用于机器人或调试应用。立体图像处理使用与人眼相同的原理即立体偏移。为了获得3D图像，该方法采用两台相机。但由于测试对象并不总是具有相同的特定特征，因此经常使用随机模式投影。

进一步地，ToF(time-of-flight)方法由于其分辨率有限而不适用于工业用途。大多数ToF相机的分辨率低于VGA，z分辨率相对较低，重复精度以厘米为单位。但是市场上已经有一些像素为百万像素的相机。ToF(time-of-flight)相机使用类似于雷达工程的技术。集成照明发送一个红外脉冲，传感器测量反射光所需的时间。近来越来越多的用于3D物体检测，但不能用于精确的测量。越来越多的应用领域是装载和卸载机器人托盘。

第二方面，一种深度图像旋转变换方法包括：

s1，获取待测深度图像的物理参数；

s2，设定所述待测深度图像的旋转变换角度；

s3，根据所述设定的待测深度图像旋转变换角度以及所述物理参数，计算待测深度图像变换后的物理参数；

s4，根据所述待测深度图像变换后的物理参数，建立待测深度图像变换前后的像素位置关系；

s5,根据所述待测深度图像变换前后的像素位置关系，得到待测深度图像变换后的像素点；

s6,对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置，对所述像素点进行插值采样；

s7,判断像素点的有效性；

若所述像素点无效，则输出为无效像素点；

s8,若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

s9,汇总所有像素点的有效性以及像素点高度值；

s10，根据所述对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置结果，填充旋转变换后深度图像的空白区域，输出旋转变换后的深度图像。

进一步地，根据所述设定的待测深度图像旋转变换角度，变换待测深度图像到物理空间；

根据所述变换待测深度图像到物理空间结果，确定待测深度图像变换后的尺寸。进一步地，所述建立待测深度图像变换前后的像素位置关系包括：待测深度图像变换前后的物理参数以及空间旋转关系。

进一步地，所述物理参数包括：待测深度图像采样后的横纵分辨率以及物理偏移量。

进一步地，所述插值采样方法包括但不限于线性插值、最近邻插值、双线性插值、双立方插值及其组合的插值方法；

双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。

当对相邻四个像素点采用双线性插值时，所得表面在邻域处是吻合的，但斜率不吻合。并且双线性灰度插值的平滑作用可能使得图像的细节产生退化，这种现象在进行图像放大时尤其明显。

进一步地，双三次插值(Bicubic interpolation)又叫双立方插值，用于在图像中"插值"(Interpolating)或增加"像素"(Pixel)数量/密度的一种方法。通常利用插值技术增加图形数据，以便在它打印或其他形式输出的时候，能够增大打印面积以及(或者)分辨率。

双三次插值是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。请读者留意下图中的眼睫毛部分，在这个地方，软件通过双三次插值创造了一个象素，而这个象素的象素值是由它附近的(4x 4)个邻近象素值推算出来的，因此精确度较高。双三次插值方法通常运用在一部分图像处理软件、打印机驱动程序和数码相机中，对原图像或原图像的某些区域进行放大。Adobe Photoshop CS更为用户提供了两种不同的双三次插值方法:双三次插值平滑化和双三次插值锐化。

目前有不同的插值技术可供选用。双立方插值通常能产生效果最好，最精确的插补图形，但它速度也几乎是最慢的。"双线性插值"(Bilinear interpolation)的速度则要快一些，但没有前者精确。在商业性图像编辑软件中，经常采用的是速度最快，但也是最不准确的"最近相邻"(Nearest Neighbor)插值。其他一些插值技术通常只在高档或单独应用的程序中出现。

显然，无论技术多么高级，插补过的数据肯定没有原始数据准确。这意味着对一个图形文件进行插值处理后，虽然文件长度增加了(数据量增大)，但不会有原先那幅图锐利，可能会在图形质量上打折扣。

进一步地，所述建立待测深度图像变换前后的像素位置关系包括：待测深度图像变换前后的高度参数以及空间旋转关系。

进一步地，所述建立待测深度图像变换前后的像素位置关系包括：待测深度图像在图像空间与物理空间之间转换，待测深度图像在转换的同时完成旋转变换。

进一步地，所述高度参数包括：高度分辨率、高度偏移量以及高度方向轴的变换关系。

进一步的，判断所述待测深度图像变换后的像素点是否位于变换前的深度图像内；

若是，则输出为有效像素点；

若否，则输出为无效像素点。

本实施例的有益效果在于：首先，利用深度图像尺寸、物理参数计算策略，计算变换后深度图像的参数，同时在建立像素变换关系时，变换关系包含了变换前后深度图像的物理参数以及空间旋转关系，保证了在深度图像物理形态无变形的前提下，快速完成旋转变换；另外，插值采样过程对有效像素、无效像素分开考虑，有效像素根据邻域范围的有效像素数、有效像素位置及高度值重新计算，可保证变换后深度图像的特征边缘轮廓与变换前一致，且与变换前的体积、物理形态信息相同，准确完成旋转变换过程。

实施例二

请参阅图1，为一种深度图像旋转变换方法步骤示意图，本实施例在计算物理参数与像素变换关系时，可使用相同的策略计算第三维度，即高度的参数与变换关系，包括高度分辨率、高度偏移量、高度方向轴的变换关系。因此，所述方法包括：

s1，获取待测深度图像的高度参数；

s2，设定所述待测深度图像的旋转变换角度；

s3，根据所述设定的待测深度图像旋转变换角度以及变换前待测深度图像的高度参数，计算待测深度图像变换后的高度参数与变换关系；

s4，根据所述待测深度图像变换后的高度参数，建立待测深度图像变换前后的像素位置关系；

s5,根据所述待测深度图像变换前后的像素位置关系，得到待测深度图像变换后的像素点；

s6,对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置，对所述像素点进行插值采样；

s7,判断像素点的有效性；

若所述像素点无效，则输出为无效像素点；

s8,若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

s9,汇总所有像素点的有效性以及像素点高度值；

s10，根据所述对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置结果，填充旋转变换后深度图像的空白区域，输出旋转变换后的深度图像。

深度图像旋转变换主要耗时是像素点在变换前后深度图像的位置变换过程，使用相同的策略计算第三维度的物理参数与像素变换关系后，可直接完成深度图像在物理空间的三维旋转变换，同时数据转换为深度图像，对于像素变换关系而言，相当于矩阵多出一维，运算量增加不多，因此达到快速实现深度图像物理空间三维旋转变换并且转换为深度图像的目的。

由以上技术方案可知，本申请提供一种深度图像旋转变换方法及装置，包括：采集单元以及PC处理端，其中采集单元包括获取模块、分析模块以及成像模块，方法包括：先设定待测深度图像旋转变换角度，并确定变换前待测深度图像的物理参数，变换待测深度图像到物理空间，确定待测深度图像变换后的尺寸，计算待测深度图像变换后的物理参数，建立待测深度图像变换前后的像素位置关系，根据所述待测深度图像变换前后的像素位置关系，得到待测深度图像变换后的像素点，对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置，对所述像素点进行插值采样。然后判断像素点的有效性，若所述像素点无效，则输出为无效像素点，若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值，汇总所有像素点的有效性以及像素点高度值，根据所述对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置结果，填充旋转变换后深度图像的空白区域，输出旋转变换后的深度图像。解决了深度图像旋转变换结果中存在的畸变、精度下降的问题。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种深度图像旋转变换方法，其特征在于，所述方法包括：

获取待测深度图像的物理参数；

设定所述待测深度图像的旋转变换角度；

根据所述设定的待测深度图像旋转变换角度以及所述物理参数，计算待测深度图像变换后的物理参数；

根据所述待测深度图像变换后的物理参数，建立待测深度图像变换前后的像素位置关系；

根据所述待测深度图像变换前后的像素位置关系，得到待测深度图像变换后的像素点；

对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置，对所述像素点进行插值采样；

判断像素点的有效性；

若所述像素点无效，则输出为无效像素点；

若所述像素点有效，则根据有效像素点邻域范围内的有效像素数、无效像素数、像素位置以及所述有效像素点像素高度值重新计算所述映射后的待测深度图像的像素高度值；

汇总所有像素点的有效性以及像素点高度值；

根据所述对比所述待测深度图像变换后的像素点在待测深度图像变换前中的位置结果，填充旋转变换后深度图像的空白区域，输出旋转变换后的深度图像。

2.根据权利要求1所述的一种深度图像旋转变换方法，其特征在于，所述计算待测深度图像变换后的物理参数包括：

根据所述旋转变换角度，变换所述待测深度图像到物理空间；

根据变换到物理空间的待测深度图像，确定待测深度图像变换后的尺寸。

3.根据权利要求1所述的一种深度图像旋转变换方法，其特征在于，所述建立待测深度图像变换前后的像素位置关系包括：

待测深度图像变换前后的物理参数以及空间旋转关系。

4.根据权利要求2或3所述的一种深度图像旋转变换方法，其特征在于，所述物理参数包括：

待测深度图像采样后的横纵分辨率以及物理偏移量。

5.根据权利要求1所述的一种深度图像旋转变换方法，其特征在于，所述插值采样采用线性插值、最近邻插值、双线性插值以及双立方插值中的至少一种。

6.根据权利要求1所述的一种深度图像旋转变换方法，其特征在于，所述建立待测深度图像变换前后的像素位置关系包括：

待测深度图像变换前后的高度参数以及空间旋转关系。

7.根据权利要求6所述的一种深度图像旋转变换方法，其特征在于，所述建立待测深度图像变换前后的像素位置关系包括：

待测深度图像在图像空间与物理空间之间转换，待测深度图像在转换的同时完成旋转变换。

8.根据权利要求7所述的一种深度图像旋转变换方法，其特征在于，所述高度参数包括：

高度分辨率、高度偏移量以及高度方向轴的变换关系。

9.根据权利要求1所述的一种深度图像旋转变换方法，其特征在于，所述判断像素点的有效性包括：

判断所述待测深度图像变换后的像素点是否位于变换前的深度图像有效像素位置；

若是，则输出为有效像素点；

若否，则输出为无效像素点。

10.一种应用于权利要求1所述方法的深度图像旋转变换装置，其特征在于，所述深度图像旋转变换装置包括：

采集单元以及PC处理端；

所述采集单元包括获取模块、分析模块以及成像模块；

所述采集单元被配置为采集待测深度图像；

所述PC处理端被配置为处理所述采样参数以及物理参数；

所述获取模块被配置为获取待测深度图像尺寸；

所述分析模块被配置为分析待测深度图像旋转变换角度；

所述成像模块被配置为形成所述深度图像的三维几何形状。

Images