CN117994329A - 一种基于立体视觉点云的目标定位方法及系统 - Google Patents
一种基于立体视觉点云的目标定位方法及系统 Download PDFInfo
- Publication number
- CN117994329A CN117994329A CN202311815772.6A CN202311815772A CN117994329A CN 117994329 A CN117994329 A CN 117994329A CN 202311815772 A CN202311815772 A CN 202311815772A CN 117994329 A CN117994329 A CN 117994329A
- Authority
- CN
- China
- Prior art keywords
- template
- matching
- point
- point cloud
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000004438 eyesight Effects 0.000 title claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000004807 localization Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000011524 similarity measure Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于立体视觉点云的目标定位方法及系统，涉及机器视觉领域，包括采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据；通过立体匹配获取边界点3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。本发明采用多层次综合方法，将不同的点云处理技术有机结合，提高了目标精确定位的精度和鲁棒性。
Description
技术领域
本发明涉及机器视觉技术领域，特别是一种基于立体视觉点云的目标定位方法及系统。
背景技术
在工业自动化和机器视觉领域，精确的目标定位和配准是关键问题之一。这些问题涉及到从图像或点云数据中获取目标的准确位置和方向信息，以便进行自动化控制、机器操作和视觉感知任务。随着机器视觉和计算机处理能力的不断提升，使用双目视觉系统进行目标定位已经成为一种广泛应用的方法。双目视觉系统是一种模仿人类双眼视觉的技术，通过两个摄像头同时拍摄同一场景，从而获得了深度信息和三维结构。这种系统具有非接触性、稳定性和高效性的特点，因此在医疗、工业、农业等各种领域得到了广泛应用。
双眼视力是机器视觉的重要分支，在医疗，工业，农业等各种行业中被广泛使用，因为它具有非接触，稳定性和高效率等的特征。双眼视觉可以通过立体声匹配生成对象外观表面(点云)的3D点数据集。但是，点云数据的数量太大，以至于在计算对象位置时使用点云花费了很多时间。同时，立体声匹配产生的点云具有很大的噪音，并且是碎片的。因此，例如上述研究以及对双眼视力的其他许多研究，并未将点云用作定位数据库。点云的产生高度取决于高精度3D扫描仪，并且点云的研究和应用主要集中在点云注册中。点云注册主要用于对象的表面重建，虚拟现实等。近年来，随着计算机的处理能力大大提高，点云数据处理变得越来越高，对目标定位进行了一些研究使用点云数据。使用点云数据进行对象定位可以尽可能地发展相机准确性的潜在能量并提高定位精度。
与双目视觉系统生成的点云数据通常非常庞大，因此在计算目标位置时需要大量的计算时间。此外，由于点云数据中存在噪声和不连续性，传统的点云定位方法往往难以满足实际需求。因此，研究人员一直在探索如何更有效地使用双目视觉系统生成的点云数据来实现目标的精确定位。
本发明提出了一种基于点云的精确定位方法，旨在解决工业环境中工件目标的准确定位问题。该方法利用双目视觉系统生成的物体表面点云，通过模板匹配、点云降噪和改进的快速迭代最近点方法来实现目标的精确定位。实验结果表明，该方法可以实现小于1.5毫米的定位精度，满足工业机器人在分拣或精确抓取任务中的需求。
本发明的背景是基于双目视觉系统的点云定位技术，该技术在医疗、工业自动化、农业等各种应用中具有广泛的潜力。通过研究和改进点云定位方法，可以提高机器视觉系统的性能，扩展其应用领域，促进工业自动化和智能机器人技术的发展。这项发明的结果对于提高工业生产效率和质量控制具有重要意义。
发明内容
鉴于上述存在的问题，提出了本发明。
因此，本发明所要解决的问题在于：由于点云数据中存在噪声和不连续性，传统的点云定位方法往往难以满足实际需求。
为解决上述技术问题，本发明提供如下技术方案：一种基于立体视觉点云的目标定位方法，其包括，采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据；通过立体匹配获取边界点的3D坐标，形成物体边界的3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法进行迭代得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。
作为本发明所述一种基于立体视觉点云的目标定位方法的一种优选方案，其中：所述图像模板包括，通过历史观测或摄像头捕捉获得目标的二维图像，二维图像需存在目标的特征和形状，将此二维图像创建为一个表示目标的图像模板；所述相似性度量包括，使用相似性度量函数来比较模板与输入图像的不同区域，根据像素值之间的差异来计算匹配度；所述匹配度量包括，将模板与输入图像的不同区域进行比较，获得匹配度量值，其反映模板与输入图像之间的相似度，其中匹配度量值越小，表示模板与输入图像区域越相似，反之则越不同；所述位置定位包括，在输入图像中搜索匹配度量值最小的区域，确定为模板在输入图像中的位置，此位置即为目标的粗略定位。
作为本发明所述一种基于立体视觉点云的目标定位方法的一种优选方案，其中：所述X、Y、Z包括，在进行双目摄像头校准之后，根据相似三角形原理计算出深度Z表示为，
其中，Tx表示为双目摄像头的水平距离，f表示为摄像头焦距，cx表示为左摄像头光学轴的x轴方向偏移，c’x表示为右摄像头光学轴的x轴方向偏移，d表示为视差；根据求出的Z计算出X与Y，表示为，
其中，x和y表示为左摄像头的横坐标与纵坐标，由单目校准获得的像素坐标(u，v)和摄像头矩阵计算得出。
作为本发明所述一种基于立体视觉点云的目标定位方法的一种优选方案，其中：所述获取区域感兴趣包括，根据计算得到的不同区域间的匹配度量值，识别具有最小匹配度量值的区域，此区域即为区域感兴趣ROI，利用所获取的ROI进一步精确定位目标；
所述模板匹配的键为相似的度量函数，用于计算模板和图像区域之间相似性的匹配分数sx,y，设模板图像中所有边缘点的点集为pi＝(xi,yi)T，相应的梯度集为gi＝(ti,ui)T,i＝1,2,3……n，图像的所有边缘点的梯度为ex,y＝(vx,y,wx,y)T，则度量函数表示为，
作为本发明所述一种基于立体视觉点云的目标定位方法的一种优选方案，其中：所述种子点包括，使用自动选择算法确定种子点，种子点即为区域的起始点；所述生长规则包括，考虑点云数据的特性和应用需求，当两个点之间的距离小于所设阈值，并且属性相似时，将这两个点添加到同一个区域；所述对点云数据进行降噪包括区域合并和制定终止条件；所述区域合并包括，依据区域感兴趣ROI与合并算法剔除掉代表噪声点的区域与不需要的区域，将满足条件的相邻区域进行合并，或将满足条件的区域统一合并至指定区域；所述终止条件包括，设定一个最大像素数，当区域内的像素数大于最大像素数时停止迭代，同时设定一个最小像素数，当区域内的像素数小于最大小像素数时，将此区域判定为不需要的区域进行剔除。
作为本发明所述一种基于立体视觉点云的目标定位方法的一种优选方案，其中：所述获取边界点的3D坐标包括，在左图像中进行边界检测，获得物体边界上的二维边缘点，二维边缘点需具有目标物体的边界特征，通过立体匹配，将左图像中的边界点与右图像中的对应点进行匹配，获得这些边界点的视差信息，使用视差信息将边界点从二维坐标转换为三维坐标以获得边界点的3D坐标；所述3D模型文件包括，对目标物体进行扫描获取物体的形状信息，根据形状信息进行建模提取出物体的3D模型文件；所述利用ICP算法进行迭代包括，在获得初始位姿估计后，再次应用ICP算法，使用物体表面的完整点云与物体模型的点云进行精确的ICP配准，从而得到目标的准确位置和方向。
作为本发明所述一种基于立体视觉点云的目标定位方法的一种优选方案，其中：所述措施包括，当迭代得到的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出；当偏差值大于所设阈值时，再通过历史观测或摄像头捕捉获得目标的不同类型的二维图像，形成基本模板图像，针对每个基本模板图像创建不同尺寸的版本，以模拟目标物体在不同距离上的视觉效果，将这些不同尺寸的模板存储在一个模板库中，对于每个尺寸的模板，创建其不同角度的旋转版本，每隔10度旋转一次，直到覆盖360度，将这些旋转过的模板也存入模板库，将模板库作为新的图像模板代入系统中重新进行预测，若预测后的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出，若仍大于阈值则进行下一步；在选取种子点前，计算每个像素点的K近邻点，并估算局部密度，根据目标物体特征设置密度阈值，低于该阈值的点被认为是离群点，并从数据中移除，筛选后对于每个像素点，计算其基于MLS的平滑表面的法线，根据点云的局部密度动态调整计算法线时的邻域大小；选取种子点后采集工况中各拍摄角度的反射强度，根据反射强度设置不同的生长阈值载入系统重新进行预测，若预测后的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出，若仍大于阈值则进行下一步；在边界区域对点云进行上采样，增加点密度，使用插值算法填补边界区域的空缺，增大搜索半径，确保在不同区域的边界点均能被正确匹配，在每次迭代中根据匹配质量动态调整匹配参数，根据每个匹配点对的ROI给予不同的权重，在误差最小化过程中，对权重高的匹配点对给予更大的影响力，并载入系统重新进行仿真预测，直至迭代结果满足偏差值结束流程。
本发明的另外一个目的是提供一种基于立体视觉点云的目标定位系统，此系统
为解决上述技术问题，本发明提供如下技术方案：一种基于立体视觉点云的目标定位方法的系统，包括：模板构建模块、降噪模块和预测与修正模块；
所述模板构建模块用于选取模板，采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；所述降噪模块用于对点云进行降噪，选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据；所述预测与修正模块用于获取预测结果，并根据预测结果对模型系统进行修正，通过立体匹配获取边界点的3D坐标，形成物体边界的3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法进行迭代得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述一种基于立体视觉点云的目标定位方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述一种基于立体视觉点云的目标定位方法的步骤。
本发明有益效果为：(1)本发明采用多层次综合方法。将不同的点云处理技术有机结合，包括模板匹配、区域生长降噪、和ICP算法。模板匹配用于目标的初步检测，区域生长降噪用于点云去噪和感兴趣区域的提取，ICP算法则用于精确的点云配准。这种多层次的方法在不同阶段逐步减小误差，提高了目标精确定位的精度和鲁棒性。
(2)基于双目视觉的点云生成。借助双目视觉系统，通过左右摄像头的图像坐标和立体视差信息，应用复杂的几何和三维几何推断技术生成目标的三维点云数据。这种方法不仅提供了高质量的点云输入，还实现了实时的点云生成，为高速工业应用提供了可能。
(3)基于物体边界的配准。通过提取目标物体的边界信息，本发明提出了一种基于物体边界的ICP方法。通过使用双目视觉系统获取左图像中的物体边界信息，并将其与右图像中的对应点匹配，得到物体边界点的三维坐标。这些点用于粗略ICP配准，加速了整个定位过程。
(4)自动种子点选择。点云区域生长降噪方法通常需要手动选择种子点，但本发明提出了自动选择种子点的方法，减少了用户的干预。这一方法使用点云数据的特征分析，如边缘密度分布等，自动确定种子点，提高了方法的通用性和自动化水平。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中：
图1为实施例1中一种基于立体视觉点云的目标定位方法的流程图。
图2为实施例1中一种基于立体视觉点云的目标定位方法的ICP算法流程图。
图3为实施例3中一种基于立体视觉点云的目标定位系统的模块结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例1
参照图1和图2，为本发明第一个实施例，该实施例提供了一种基于立体视觉点云的目标定位方法包括，如图1所示：
步骤1：采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；
图像模板：通过历史观测或摄像头捕捉获得目标的二维图像，二维图像需存在目标的特征和形状，将此二维图像创建为一个表示目标的图像模板；所述相似性度量包括，使用相似性度量函数来比较模板与输入图像的不同区域，根据像素值之间的差异来计算匹配度。
匹配度量：将模板与输入图像的不同区域进行比较，获得匹配度量值，其反映模板与输入图像之间的相似度，其中匹配度量值越小，表示模板与输入图像区域越相似，反之则越不同。
位置定位：在输入图像中搜索匹配度量值最小的区域，确定为模板在输入图像中的位置，此位置即为目标的粗略定位。
在进行双目摄像头校准之后，根据相似三角形原理计算出深度Z表示为，
其中，Tx表示为双目摄像头的水平距离，f表示为摄像头焦距，cx表示为左摄像头光学轴的x轴方向偏移，c’x表示为右摄像头光学轴的x轴方向偏移，d表示为视差根据求出的Z计算出X与Y，表示为，
其中，x和y表示为左摄像头的横坐标与纵坐标，由单目校准获得的像素坐标(u，v)和摄像头矩阵计算得出。
区域感兴趣(ROI)的获取，在模板匹配中，首先需要确定在输入图像中搜索匹配区域的区域感兴趣(ROI)。ROI是一个包含目标的矩形区域，可以减少匹配的计算量并提高匹配的速度。在工业自动化环境中，通常可以使用模板匹配方法获取ROI，以获得目标的粗略位置。选择一个合适的模板，该模板应具有目标的特征并包含在输入图像中可识别的区域；在输入图像中使用相似性度量函数计算模板与不同区域之间的匹配度量值；识别具有最小匹配度量值的区域。这个区域即为ROI。通过ROI获取，可以减少后续的匹配计算量，提高匹配的速度，然后可以进一步精确定位目标。ROI获取是模板匹配方法的一个重要步骤，有助于实现目标的精确定位。
模板匹配的键是相似的度量函数，用于计算模板和图像区域之间相似性的匹配分数sx,y，设模板图像中所有边缘点的点集为pi＝(xi,yi)T，相应的梯度集为gi＝(ti,ui)T,i＝1,2,3……n，图像的所有边缘点的梯度为ex,y＝(vx,y,wx,y)T，则度量函数表示为，
步骤2：选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据。
种子点：使用自动选择算法确定种子点，种子点即为区域的起始点；所述生长规则包括，考虑点云数据的特性和应用需求，当两个点之间的距离小于所设阈值，并且属性相似时，将这两个点添加到同一个区域。
对点云数据进行降噪包括区域合并和制定终止条件；区域合并包括，依据区域感兴趣ROI与合并算法剔除掉代表噪声点的区域与不需要的区域，将满足条件的相邻区域进行合并，或将满足条件的区域统一合并至指定区域；终止条件包括，设定一个最大像素数，当区域内的像素数大于最大像素数时停止迭代，同时设定一个最小像素数，当区域内的像素数小于最大小像素数时，将此区域判定为不需要的区域进行剔除。
步骤3：通过立体匹配获取边界点的3D坐标，形成物体边界的3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法进行迭代得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。
ICP(Iterative Closest Point)算法是一种常用的点云配准方法，用于计算两个点云之间的相对位姿，使它们尽可能准确地重叠。ICP算法的基本思想是通过迭代的方式，将一个点云(通常称为源点云)与另一个点云(目标点云)进行匹配，以找到最佳的刚体变换(平移和旋转)，从而使源点云与目标点云尽可能重合。ICP算法流程图如图2所示
获取边界点的3D坐标：在左图像中进行边界检测，获得物体边界上的二维边缘点，二维边缘点需具有目标物体的边界特征，通过立体匹配，将左图像中的边界点与右图像中的对应点进行匹配，获得这些边界点的视差信息，使用视差信息将边界点从二维坐标转换为三维坐标以获得边界点的3D坐标。
对目标物体进行扫描获取物体的形状信息，根据形状信息进行建模提取出物体的3D模型文件。将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计。
在获得初始位姿估计后，再次应用ICP算法，使用物体表面的完整点云与物体模型的点云进行精确的ICP配准，从而得到目标的准确位置和方向。
当迭代得到的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出。
当偏差值大于所设阈值时，再通过历史观测或摄像头捕捉获得目标的不同类型的二维图像，形成基本模板图像，针对每个基本模板图像创建不同尺寸的版本，以模拟目标物体在不同距离上的视觉效果，将这些不同尺寸的模板存储在一个模板库中，对于每个尺寸的模板，创建其不同角度的旋转版本，每隔10度旋转一次，直到覆盖360度，将这些旋转过的模板也存入模板库，将模板库作为新的图像模板代入系统中重新进行预测，若预测后的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出，若仍大于阈值则进行下一步。
在选取种子点前，计算每个像素点的K近邻点，并估算局部密度，根据目标物体特征设置密度阈值，低于该阈值的点被认为是离群点，并从数据中移除，筛选后对于每个像素点，计算其基于MLS的平滑表面的法线，根据点云的局部密度动态调整计算法线时的邻域大小；选取种子点后采集工况中各拍摄角度的反射强度，根据反射强度设置不同的生长阈值载入系统重新进行预测，若预测后的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出，若仍大于阈值则进行下一步。
在边界区域对点云进行上采样，增加点密度，使用插值算法填补边界区域的空缺，增大搜索半径，确保在不同区域的边界点均能被正确匹配，在每次迭代中根据匹配质量动态调整匹配参数，根据每个匹配点对的ROI给予不同的权重，在误差最小化过程中，对权重高的匹配点对给予更大的影响力，并载入系统重新进行仿真预测，直至迭代结果满足偏差值结束流程。
实施例2
本发明第二个实施例，其不同于第一个实施例的是：一种基于立体视觉点云的目标定位方法及系统还包括，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明发放进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
实验条件：使用相同的硬件环境和双目视觉系统；在相似的工业自动化场景中获取数据。
实验参数：定位精度(误差范围内的百分比)，处理时间(从图像获取到最终定位的时间)，噪声和不连续性的处理能力。
实验对象：选择具有代表性的工业部件作为实验对象。
实验步骤：分别使用本发明方法和现有技术方案进行一系列定位任务，记录并分析每次实验的结果如表1所示。
表1：现有技术与本发明方法数据对比图
定位精度：从表格中可以看出，本发明方法在定位精度方面表现更优，定位误差明显小于现有技术方案。这是由于本发明方法中使用的多层次综合处理技术，包括模板匹配、区域生长降噪和改进的ICP算法，使得定位更加精确。
处理时间：在处理时间方面，本发明方法同样展现出更好的性能。这是因为通过自动种子点选择和基于物体边界的ICP配准，加速了整个定位过程，从而缩短了处理时间。
噪声和不连续性处理：在处理噪声和不连续性方面，本发明方法因采用了区域生长降噪技术，能更有效地处理点云中的噪声和不连续区域，因此在这一方面表现更为出色。
实施例3
参照图3，为本发明第三个实施例，其不同于前两个实施例的是：一种基于立体视觉点云的目标定位方法的系统，包括模板构建模块、降噪模块和预测与修正模块；模板构建模块用于选取模板，采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；降噪模块用于对点云进行降噪，选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据；预测与修正模块用于获取预测结果，并根据预测结果对模型系统进行修正，通过立体匹配获取边界点的3D坐标，形成物体边界的3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法进行迭代得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于立体视觉点云的目标定位方法，其特征在于：包括，
采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；
选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据；
通过立体匹配获取边界点的3D坐标，形成物体边界的3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法进行迭代得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。
2.如权利要求1所述的一种基于立体视觉点云的目标定位方法，其特征在于：所述图像模板包括，通过历史观测或摄像头捕捉获得目标的二维图像，二维图像需存在目标的特征和形状，将此二维图像创建为一个表示目标的图像模板；所述相似性度量包括，使用相似性度量函数来比较模板与输入图像的不同区域，根据像素值之间的差异来计算匹配度；
所述匹配度量包括，将模板与输入图像的不同区域进行比较，获得匹配度量值，其反映模板与输入图像之间的相似度，其中匹配度量值越小，表示模板与输入图像区域越相似，反之则越不同；
所述位置定位包括，在输入图像中搜索匹配度量值最小的区域，确定为模板在输入图像中的位置，此位置即为目标的粗略定位。
3.如权利要求2所述的一种基于立体视觉点云的目标定位方法，其特征在于：所述X、Y、Z包括，在进行双目摄像头校准之后，根据相似三角形原理计算出深度Z表示为，
其中，Tx表示为双目摄像头的水平距离，f表示为摄像头焦距，cx表示为左摄像头光学轴的x轴方向偏移，c’x表示为右摄像头光学轴的x轴方向偏移，d表示为视差；
根据求出的Z计算出X与Y，表示为，
其中，x和y表示为左摄像头的横坐标与纵坐标，由单目校准获得的像素坐标(u，v)和摄像头矩阵计算得出。
4.如权利要求3所述的一种基于立体视觉点云的目标定位方法，其特征在于：所述获取区域感兴趣包括，根据计算得到的不同区域间的匹配度量值，识别具有最小匹配度量值的区域，此区域即为区域感兴趣ROI，利用所获取的ROI进一步精确定位目标；
所述模板匹配的键为相似的度量函数，用于计算模板和图像区域之间相似性的匹配分数sx,y，设模板图像中所有边缘点的点集为pi＝(xi,yi)T，相应的梯度集为gi＝(ti,ui)T,i＝1,2,3……n，图像的所有边缘点的梯度为ex,y＝(vx,y,wx,y)T，则度量函数表示为，
5.如权利要求4所述的一种基于立体视觉点云的目标定位方法，其特征在于：所述种子点包括，使用自动选择算法确定种子点，种子点即为区域的起始点；所述生长规则包括，考虑点云数据的特性和应用需求，当两个点之间的距离小于所设阈值，并且属性相似时，将这两个点添加到同一个区域；
所述对点云数据进行降噪包括区域合并和制定终止条件；所述区域合并包括，依据区域感兴趣ROI与合并算法剔除掉代表噪声点的区域与不需要的区域，将满足条件的相邻区域进行合并，或将满足条件的区域统一合并至指定区域；所述终止条件包括，设定一个最大像素数，当区域内的像素数大于最大像素数时停止迭代，同时设定一个最小像素数，当区域内的像素数小于最大小像素数时，将此区域判定为不需要的区域进行剔除。
6.如权利要求5所述的一种基于立体视觉点云的目标定位方法，其特征在于：所述获取边界点的3D坐标包括，在左图像中进行边界检测，获得物体边界上的二维边缘点，二维边缘点需具有目标物体的边界特征，通过立体匹配，将左图像中的边界点与右图像中的对应点进行匹配，获得这些边界点的视差信息，使用视差信息将边界点从二维坐标转换为三维坐标以获得边界点的3D坐标；
所述3D模型文件包括，对目标物体进行扫描获取物体的形状信息，根据形状信息进行建模提取出物体的3D模型文件；
所述利用ICP算法进行迭代包括，在获得初始位姿估计后，再次应用ICP算法，使用物体表面的完整点云与物体模型的点云进行精确的ICP配准，从而得到目标的准确位置和方向。
7.如权利要求6所述的一种基于立体视觉点云的目标定位方法，其特征在于：所述措施包括，当迭代得到的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出；
当偏差值大于所设阈值时，再通过历史观测或摄像头捕捉获得目标的不同类型的二维图像，形成基本模板图像，针对每个基本模板图像创建不同尺寸的版本，以模拟目标物体在不同距离上的视觉效果，将这些不同尺寸的模板存储在一个模板库中，对于每个尺寸的模板，创建其不同角度的旋转版本，每隔10度旋转一次，直到覆盖360度，将这些旋转过的模板也存入模板库，将模板库作为新的图像模板代入系统中重新进行预测，若预测后的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出，若仍大于阈值则进行下一步；
在选取种子点前，计算每个像素点的K近邻点，并估算局部密度，根据目标物体特征设置密度阈值，低于该阈值的点被认为是离群点，并从数据中移除，筛选后对于每个像素点，计算其基于MLS的平滑表面的法线，根据点云的局部密度动态调整计算法线时的邻域大小；选取种子点后采集工况中各拍摄角度的反射强度，根据反射强度设置不同的生长阈值载入系统重新进行预测，若预测后的位置和方向与真实的位置和方向的偏差值小于所设阈值时，则正常输出，若仍大于阈值则进行下一步；
在边界区域对点云进行上采样，增加点密度，使用插值算法填补边界区域的空缺，增大搜索半径，确保在不同区域的边界点均能被正确匹配，在每次迭代中根据匹配质量动态调整匹配参数，根据每个匹配点对的ROI给予不同的权重，在误差最小化过程中，对权重高的匹配点对给予更大的影响力，并载入系统重新进行仿真预测，直至迭代结果满足偏差值结束流程。
8.一种采用如权利要求1～7任一所述的一种基于立体视觉点云的目标定位方法的系统，其特征在于：包括模板构建模块、降噪模块和预测与修正模块；
所述模板构建模块用于选取模板，采集目标图像形成图像模板，对模板进行相似性度量和匹配度量，并且对模板进行位置定位，计算出X、Y、Z，获取区域感兴趣并计算模板匹配的键；
所述降噪模块用于对点云进行降噪，选择种子点，制定生长规则，对点云数据进行降噪得到三维点云数据；
所述预测与修正模块用于获取预测结果，并根据预测结果对模型系统进行修正，通过立体匹配获取边界点的3D坐标，形成物体边界的3D点云，提取物体的3D模型文件，将物体边界的3D点云和物体模型的3D点云进行粗略配准，获得初始的位姿估计，利用ICP算法进行迭代得到目标的准确位置和方向，将迭代得到的位置和方向与真实值进行对比，根据对比结果进行相应的措施。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种基于立体视觉点云的目标定位方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种基于立体视觉点云的目标定位方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311815772.6A CN117994329A (zh) | 2023-12-27 | 2023-12-27 | 一种基于立体视觉点云的目标定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311815772.6A CN117994329A (zh) | 2023-12-27 | 2023-12-27 | 一种基于立体视觉点云的目标定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117994329A true CN117994329A (zh) | 2024-05-07 |
Family
ID=90893418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311815772.6A Pending CN117994329A (zh) | 2023-12-27 | 2023-12-27 | 一种基于立体视觉点云的目标定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117994329A (zh) |
-
2023
- 2023-12-27 CN CN202311815772.6A patent/CN117994329A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shi et al. | The iterative closest point registration algorithm based on the normal distribution transformation | |
| EP2036037B1 (en) | Methods and systems for segmentation using boundary reparameterization | |
| CN108381549B (zh) | 一种双目视觉引导机器人快速抓取方法、装置及存储介质 | |
| CN110688947B (zh) | 一种同步实现人脸三维点云特征点定位和人脸分割的方法 | |
| CN111553858B (zh) | 基于生成对抗网络的图像修复方法、系统及其应用 | |
| CN113178009B (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
| KR20170068462A (ko) | 에지를 이용한 3차원 모델 생성 | |
| CN110176064B (zh) | 一种摄影测量生成三维模型的主体对象自动识别方法 | |
| CN113838005B (zh) | 基于维度转换的岩体裂隙智能识别与三维重构方法及系统 | |
| Su et al. | Detection and robust estimation of cylinder features in point clouds | |
| US9443312B2 (en) | Line parametric object estimation | |
| Verykokou et al. | A Comparative analysis of different software packages for 3D Modelling of complex geometries | |
| Younas et al. | Development, implementation and validation of an automatic centerline extraction algorithm for complex 3D objects | |
| CN110969650B (zh) | 一种基于中心投影的强度图像与纹理序列间的配准方法 | |
| Zhong et al. | Triple screening point cloud registration method based on image and geometric features | |
| CN117994329A (zh) | 一种基于立体视觉点云的目标定位方法及系统 | |
| Djordjevic et al. | An accurate method for 3D object reconstruction from unordered sparse views | |
| KR20150002157A (ko) | 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체 | |
| Cai et al. | DeepPCD: Enabling AutoCompletion of Indoor Point Clouds with Deep Learning | |
| Hu et al. | Multiview point clouds denoising based on interference elimination | |
| Kim et al. | A high quality depth map upsampling method robust to misalignment of depth and color boundaries | |
| Rahal et al. | Object oriented structure from motion: Can a scribble help? | |
| JP2019053597A (ja) | 選別装置、方法及びプログラム | |
| Wang et al. | Research On 3D Reconstruction of Face Based on Binocualr Stereo Vision | |
| Ervan et al. | Tensor voting based 3-D point cloud processing for downsampling and registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |