CN115147398A - 一种基于深度图像的楼梯高度检测方法及系统 - Google Patents

一种基于深度图像的楼梯高度检测方法及系统 Download PDF

Info

Publication number
CN115147398A
CN115147398A CN202210898047.9A CN202210898047A CN115147398A CN 115147398 A CN115147398 A CN 115147398A CN 202210898047 A CN202210898047 A CN 202210898047A CN 115147398 A CN115147398 A CN 115147398A
Authority
CN
China
Prior art keywords
depth
depth map
key points
edge key
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210898047.9A
Other languages
English (en)
Inventor
徐杰杰
刘光灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202210898047.9A priority Critical patent/CN115147398A/zh
Publication of CN115147398A publication Critical patent/CN115147398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度图像的楼梯高度检测方法及系统，属于计算机视觉技术领域，方法包括：获取深度图并对其进行补缺预处理；对补缺后的深度图进行标准化后投影到一维的成像平面；对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值；选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度；结合像素信息和深度信息，将像素坐标系和相机坐标系进行转换，得到楼梯的高度，克服了现有转化方法有误差，计算量大，坐标转换复杂等缺陷，从而提高检测速度。

Description

一种基于深度图像的楼梯高度检测方法及系统
技术领域
本发明涉及一种基于深度图像的楼梯高度检测方法及系统，属于计算机视觉技术领域。
背景技术
物体的三维信息获取是计算机视觉领域的一个重要议题，其目的是从图像中检测到物体的二维信息，并将其投影到三维空间，最终计算出其三维信息；物体的三维信息相比于二维信息能够更全面、真实的反应客观物体，为人们提供更多的信息量。
目前，获取物体三维信息的方法大致分为以下两种：
第一种是接触式测量方法，其原理是用采样头的探针接触模型表面，采集一个轮廓点的数据，然后横向移动一个间距，采集相邻的轮廓点数据，最后构筑整个表面的线框模型；该方法具有较高的准确性和可靠性，但也存在不能测量柔性物体，测量速度慢，仅限于固定环境等问题。
第二种是基于非结构光的三维传感器，其原理是从一个或多个摄像系统获取的二维图像中确定的距离信息，形成三维面形数据；此方法需要进行大量的相关匹配运算，当被测目标的结构信息过于简单或过于复杂，或者被测物体上各点的反射率没有明显差异时，这种相关匹配运算将变得十分复杂和困难。
所以目前用于检测楼梯高度的技术中，存在以下缺陷：(1)检测速度慢，限制于固定环境；(2)匹配运算复杂程度极高，计算困难。
发明内容
本发明的目的在于提供一种基于深度图像的楼梯高度检测方法及系统，解决现有技术中检测速度慢、环境受限严重、计算复杂且困难等问题。
为实现以上目的，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种基于深度图像的楼梯高度检测方法，包括：
获取深度图并对其进行补缺预处理；
对补缺后的深度图进行标准化后投影到一维的成像平面；
对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值；
选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度。
结合第一方面，进一步的，所述补缺预处理包括：
对深度图中的深度值缺失区域进行深度值的插值补全。
结合第一方面，进一步的，所述深度图通过极差标准化法进行标准化。
结合第一方面，进一步的，所述梯度检测包括：
使用CV2.sobel函数对投影后的深度图进行梯度检测，得到梯度图，对梯度图求横坐标方向的均值，得到一个一维数组，在一维数组中找到深度局部极大值和深度局部极小值。
结合第一方面，进一步的，所述相机投影算法的表达式为：
Figure BDA0003769780800000021
其中，u和v分别是边缘关键点的横坐标和纵坐标，
Figure BDA0003769780800000022
是相机内参矩阵，fx和fy分别表示相机在x和y方向上的焦距，cx和cy分别表示相机像素在x和y方向上的偏移量，Xc、Yc和Zc分别表示边缘关键点所对应的三维坐标值。
结合第一方面，进一步的，根据两个三维坐标通过勾股定理计算得到两个边缘关键点的距离。
结合第一方面，进一步的，所述深度图通过RealSense图像采集模块采集得到。
第二方面，本发明还提供了一种基于深度图像的楼梯高度检测系统，包括：
深度图获取模块：用于获取深度图并对其进行补缺预处理；
投影模块：用于对补缺后的深度图进行标准化后投影到一维的成像平面；
梯度检测模块：用于对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值；
楼梯高度计算模块：用于选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度。
与现有技术相比，本发明所达到的有益效果是：
本发明提供的一种基于深度图像的楼梯高度检测方法及系统，对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值，获取楼梯的边界信息；利用深度局部极大值和深度局部极小值选取边缘关键点，再通过相机投影算法计算出其三维坐标，即结合像素信息和深度信息，将像素坐标系和相机坐标系进行转换，最终得到楼梯的高度，有效克服了现有技术中转化方法有误差，计算量大，坐标转换复杂等问题，从而提高检测速度，且不需要固定配置环境编码；同时在计算机辅助设计与制造(CAD/CAM)，逆向工程(RE)，快速原型(RP)及虚拟现实(VR)等任务，具有较高的实用价值和社会价值。
附图说明
图1是本发明实施例提供的一种基于深度图像的楼梯高度检测方法的流程图。
具体实施方式
下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
如图1所示，本发明实施例提供的一种基于深度图像的楼梯高度检测方法，包括：
S1、获取深度图并对其进行补缺预处理。
通过RealSense图像采集模块采集得到楼梯的深度图，将深度图中深度值缺失区域进行深度值的插值补全，完成深度图的补缺预处理。
S2、对补缺后的深度图进行标准化后投影到一维的成像平面。
将补全深度值之后的深度图进行标准化，具体的方法是极差标准化法，标准化的目的是因为当前图像是16位的int16，在0-25536的区间，当前像素值代表的是深度值，但进行梯度检测时使用的CV2.sobel函数适用于8位的int8，在0-255的区间。
将标准化后的深度图投影到0-255的区间，用于后续的梯度检测。
S3、对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值。
使用CV2内置的CV2.sobel函数对投影后的深度图进行梯度检测，因为深度图中像素数值代表的是深度信息，故能检测到深度图中的深度变化的局部极值。
使用CV2.sobel函数对投影后的深度图进行梯度检测，得到梯度图，对梯度图求横坐标方向的均值，得到一个一维数组，在一维数组中找到深度局部极大值和深度局部极小值。
S4、选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度。
得到深度局部极大值和深度局部极小值后，将深度图像素坐标投影到三维坐标，按如下方法进行投影：
选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为一组边缘关键点。
获取相机内参矩阵，其具体形式为：
Figure BDA0003769780800000051
其中，fx和fy分别表示相机在x和y方向上的焦距，cx和cy分别表示相机像素在x和y方向上的偏移量。
然后通过相机投影算法计算得到一组边缘关键点的各自三维坐标：
Figure BDA0003769780800000052
其中，u和v分别是边缘关键点的横坐标和纵坐标，
Figure BDA0003769780800000061
是相机内参矩阵，fx和fy分别表示相机在x和y方向上的焦距，cx和cy分别表示相机像素在x和y方向上的偏移量，Xc、Yc和Zc分别表示边缘关键点所对应的三维坐标值。
得到一组边缘关键点中的两个三维坐标后，通过勾股定理计算得到两点距离，即得到楼梯的高度：
Figure BDA0003769780800000062
其中D表示两点间的距离，(X1,Y1,Z1)，(X2,Y2,Z2)分别代表两点的三维坐标。
在本实施例中，选取多组边缘关键点进行计算，得到所有楼梯高度后取平均值，从而得到最终楼梯高度的检测结果。
实施例2
本发明实施例提供的一种基于深度图像的楼梯高度检测系统，包括：
深度图获取模块：用于获取深度图并对其进行补缺预处理；
投影模块：用于对补缺后的深度图进行标准化后投影到一维的成像平面；
梯度检测模块：用于对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值；
楼梯高度计算模块：用于选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (8)

1.一种基于深度图像的楼梯高度检测方法，其特征在于，包括：
获取深度图并对其进行补缺预处理；
对补缺后的深度图进行标准化后投影到一维的成像平面；
对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值；
选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度。
2.根据权利要求1所述的一种基于深度图像的楼梯高度检测方法，其特征在于，所述补缺预处理包括：
对深度图中的深度值缺失区域进行深度值的插值补全。
3.根据权利要求1所述的一种基于深度图像的楼梯高度检测方法，其特征在于，所述深度图通过极差标准化法进行标准化。
4.根据权利要求1所述的一种基于深度图像的楼梯高度检测方法，其特征在于，所述梯度检测包括：
使用CV2.sobel函数对投影后的深度图进行梯度检测，得到梯度图，对梯度图求横坐标方向的均值，得到一个一维数组，在一维数组中找到深度局部极大值和深度局部极小值。
5.根据权利要求1所述的一种基于深度图像的楼梯高度检测方法，其特征在于，所述相机投影算法的表达式为：
Figure FDA0003769780790000011
其中，u和v分别是边缘关键点的横坐标和纵坐标，
Figure FDA0003769780790000021
是相机内参矩阵，fx和fy分别表示相机在x和y方向上的焦距，cx和cy分别表示相机像素在x和y方向上的偏移量，Xc、Yc和Zc分别表示边缘关键点所对应的三维坐标值。
6.根据权利要求1所述的一种基于深度图像的楼梯高度检测方法，其特征在于，根据两个三维坐标通过勾股定理计算得到两个边缘关键点的距离。
7.根据权利要求1所述的一种基于深度图像的楼梯高度检测方法，其特征在于，所述深度图通过RealSense图像采集模块采集得到。
8.一种基于深度图像的楼梯高度检测系统，其特征在于，包括：
深度图获取模块：用于获取深度图并对其进行补缺预处理；
投影模块：用于对补缺后的深度图进行标准化后投影到一维的成像平面；
梯度检测模块：用于对投影后的深度图进行梯度检测，得到深度局部极大值和深度局部极小值；
楼梯高度计算模块：用于选取深度图中横坐标相同、纵坐标分别为深度局部极大值和深度局部极小值的两点作为两个边缘关键点，通过相机投影算法计算出两个边缘关键点的三维坐标，根据两个三维坐标计算得到两个边缘关键点的距离，得到楼梯高度。
CN202210898047.9A 2022-07-28 2022-07-28 一种基于深度图像的楼梯高度检测方法及系统 Pending CN115147398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210898047.9A CN115147398A (zh) 2022-07-28 2022-07-28 一种基于深度图像的楼梯高度检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210898047.9A CN115147398A (zh) 2022-07-28 2022-07-28 一种基于深度图像的楼梯高度检测方法及系统

Publications (1)

Publication Number Publication Date
CN115147398A true CN115147398A (zh) 2022-10-04

Family

ID=83415035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210898047.9A Pending CN115147398A (zh) 2022-07-28 2022-07-28 一种基于深度图像的楼梯高度检测方法及系统

Country Status (1)

Country Link
CN (1) CN115147398A (zh)

Similar Documents

Publication Publication Date Title
Fan et al. Pothole detection based on disparity transformation and road surface modeling
CN106839977B (zh) 基于光栅投影双目成像技术的盾构渣土体积实时测量方法
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
CN110230998B (zh) 基于线激光和双目相机的快速精密三维测量方法和装置
CN110335234B (zh) 一种基于古文物LiDAR点云的三维变化检测方法
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
CN109272537A (zh) 一种基于结构光的全景点云配准方法
CN107077735A (zh) 三维对象识别
CN115482195B (zh) 一种基于三维点云的列车部件变形检测方法
Song et al. DOE-based structured-light method for accurate 3D sensing
Ahmed et al. Pothole 3D reconstruction with a novel imaging system and structure from motion techniques
CN109540023B (zh) 基于二值网格编码模板结构光的物体表面深度值测量方法
Dorai et al. From images to models: Automatic 3D object model construction from multiple views
Liu et al. Real-time 3D surface measurement in additive manufacturing using deep learning
Grifoni et al. 3D multi-modal point clouds data fusion for metrological analysis and restoration assessment of a panel painting
Xiong et al. Automatic three-dimensional reconstruction based on four-view stereo vision using checkerboard pattern
Rövid Machine vision-based measurement system for vehicle body inspection
CN116839502A (zh) 一种基于ai技术测量对象长宽高及孔径孔深的方法及装置
CN115147398A (zh) 一种基于深度图像的楼梯高度检测方法及系统
CN105783782B (zh) 表面曲率突变光学轮廓测量方法
WO2022214821A2 (en) Monocular depth estimation
Kumar et al. Industrial application of point cloud/STL data for reverse engineering
Hsieh A new Kinect-based scanning system and its application
Uyanik et al. A method for determining 3D surface points of objects by a single camera and rotary stage
Chang et al. Next viewing directions for the scanning of dental impressions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination