CN111768447A - 一种基于模板匹配的单目相机物体位姿估计方法及系统 - Google Patents

一种基于模板匹配的单目相机物体位姿估计方法及系统 Download PDF

Info

Publication number
CN111768447A
CN111768447A CN202010619253.2A CN202010619253A CN111768447A CN 111768447 A CN111768447 A CN 111768447A CN 202010619253 A CN202010619253 A CN 202010619253A CN 111768447 A CN111768447 A CN 111768447A
Authority
CN
China
Prior art keywords
target
image
dimensional
point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010619253.2A
Other languages
English (en)
Other versions
CN111768447B (zh
Inventor
刘振
范晓东
武帅
宋思远
丁亮
洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Hagong Huicai Intelligent Technology Co ltd
Original Assignee
HRG International Institute for Research and Innovation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRG International Institute for Research and Innovation filed Critical HRG International Institute for Research and Innovation
Priority to CN202010619253.2A priority Critical patent/CN111768447B/zh
Publication of CN111768447A publication Critical patent/CN111768447A/zh
Application granted granted Critical
Publication of CN111768447B publication Critical patent/CN111768447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于模板匹配的单目相机物体位姿估计方法，包括以下步骤：根据物体3D模型的投影，以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成二维模板数据集，形成目标模板图像；图像预处理，得到目标二维图像；物体位姿识别。本发明以模板匹配算法为基础，可根据需求调节观测距离和基准坐标原点。对于新的待识别目标物体，只需要其3D模型即可快速生成大量模板数据集，算法的可移植性较强。本发明在硬件传感器上只需使用单目2D摄像机，能够降低硬件成本。

Description

一种基于模板匹配的单目相机物体位姿估计方法及系统
技术领域
本发明涉及物体位姿评估技术领域，具体来说是一种基于模板匹配的单目相机物体位姿估计方法及系统。
背景技术
近年来，计算机视觉相关的技术迅速发展，物体位姿检测是计算机视觉领域最热门的研究领域之一。而使用位姿估计算法估算物体3D模型相对于摄像机的位置姿态，在物体位姿识别实际应用中尤为重要。
位姿估计的信息获取必须使用硬件传感器，根据原理不同，完成位姿估计使用到的传感器分为激光雷达和摄像机。在视觉领域可分为单目视觉位姿估计、多目视觉位姿估计和3D视觉位姿估计。在目前的生产技术水平下，现有多目和3D相机价格都比较贵，后者价格普遍在数十万元以上。在实际工业应用中，既要保证算法的处理速度、稳定性以及鲁棒性，也要把产品成本控制在较低范围，此时价格较低的单目相机受到消费者们的重视。
根据算法使用的先验条件不同，位姿估计算法可以分为基于特征点的位姿估计方法、基于神经网络的位姿估计算法和基于模型的位姿估计算法。基于特征点的位姿估计方法从图像中提取出有效特征点与标准图像进行匹配。这种方法不仅耗时，而且只使用到图像中特征点信息，信息利用率不高。而且如果遇到图像含有特征点较少的情形，对位置和角度的估计出现严重偏差的几率较大。基于神经网络的位姿估计算法虽然具有极强的泛化能力，但对硬件算力要求较高，无形中提升了硬件成本。基于模型的位姿估计算法需要提前构建物体的模型，能较强适用于具有形状较规则的物体，且对硬件算力要求低。
发明内容
本发明要解决的是现有技术对于物体位姿评估结果误差大、对硬件要求高的技术问题。
本发明通过以下技术方案来解决上述技术问题：
一种基于模板匹配的单目相机物体位姿估计方法，包括以下步骤：
S100、建立目标模板图像库
根据物体3D模型以球形相机的视野进行多角度、不同距离的投影，光照模式选择为模拟平行光投影；以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，其中PP’为目标坐标系的z轴；随后在P’点将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集，形成目标模板图像；
S200、图像预处理
对目标物体进行拍照，然后对获取到的二维图像采用直方图均衡法处理，得到目标二维图像；
S300、物体位姿识别
采用目标模板图像对目标二维图像进行检测与识别；
S400、配准
对目标模板图像进行平移和旋转，找到目标模板图像上的每个特征点对应在目标图像上的对应点坐标，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点。
优选的，所述步骤S100具体包括：
1)投影距离渐进设计
对投影观察原点到物体3D模型之间的距离进行多层次步进式设计，选择3至5个不同观测距离和角度进行投影；
2)基准坐标系的转换及投影
通过空间坐标变换，将基准坐标系转换为以观察点P’为原点、PP’为z轴的目标坐标系。目标坐标系的y轴和z轴旋转公式为：
Figure BDA0002564620720000021
Figure BDA0002564620720000022
其中θy是pitch角，θz是yaw角。
[y',x',z']T＝Ry(-θy)Rz(-θz)[x,y,z]T (3)
z'＝-z'+R (4)
其中，[x,y,z]是基准坐标系的原点坐标，[x',y',z']是目标坐标系的原点坐标，R代表偏移量。随后在P’点按照透视原理以及视场“近大远小”规则，将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集。
优选的，所述步骤S200具体包括：
首先统计二维图像中灰度级范围rk，rk值域为[0,L-1]，在八位像素值表示中L等于256；然后统计每一个灰度级在二维图像中出现的频次nk，nk表示在二维图像中第k个灰度级的像素总数；当图像总像素点个数为N时，计算各级的概率公式为：
p(rk)＝nk/N (5)
由于rk步进为1，可以将式(5)改写为：
p(k)＝nk/N (6)
上式中将直方图分布归一化，将函数值p(k)值域归一化为[0,1]，然后对灰度级概率进行直方图变换：
sk＝T(rk) (7)
sk代表将原始灰度值rk通过函数映射得到的新灰度值。
优选的，所述步骤S300具体包括：
预先加载目标模板图像到内存中，对预处理后的目标二维图像进行物体检测与识别；模板与源图像进行比较时，采用相似度测量的方法进行检测识别：
Figure BDA0002564620720000031
其中ori(O,r)为目标模板图像上位置r上的梯度，ori(I,c+r)为目标二维图像上在c+r上的梯度，其中c为目标二维图像上对应于目标模板图像的中心点，目标二维图像上和目标模板图像像素对应的像素的梯度；当多个同样目标二维图像堆叠摆放时，根据最终计算结果值，取最高得分值对应的位置。
优选的，所述步骤S400具体包括：
先对目标模板图像进行平移和旋转，通过最小二乘法来求出平移量和旋转量；然后对目标模板图像上的特征点，寻找特征点在目标二维图像上某邻域内的最近点作为其在目标二维图像上的对应点，对物体模板上每个特征点都找到对应点坐标，计算对应点的切线，同时计算特征点到对应点切线的距离，对所有特征点进行相同操作，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点，分别求出最小平方差和对(x,y；ω)的一阶偏导，并令其为0，求出(x,y；ω)值，其中(x,y)为目标物体在二维目标图像中的位置坐标，ω目标模板图像的旋转角度，将ω与当前匹配的目标模板图像的三维位姿信息进行合并叠加，即可得到目标物体最终三维位姿识别结果。
本发明还提供一种基于模板匹配的单目相机物体位姿估计系统，包括
建立目标模板图像库模块，根据物体3D模型以球形相机的视野进行多角度、不同距离的投影，光照模式选择为模拟平行光投影；以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，其中PP’为目标坐标系的z轴；随后在P’点将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集，形成目标模板图像；
图像预处理模块，对目标物体进行拍照，然后对获取到的二维图像采用直方图均衡法处理，得到目标二维图像；
物体位姿识别模块，采用目标模板图像对目标二维图像进行检测与识别；
配准模块，对目标模板图像进行平移和旋转，找到目标模板图像上的每个特征点对应在目标图像上的对应点坐标，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点。
优选的，所述建立目标模板图像库模块具体建立过程为：
1)投影距离渐进设计
对投影观察原点到物体3D模型之间的距离进行多层次步进式设计，选择3至5个不同观测距离和角度进行投影；
2)基准坐标系的转换及投影
通过空间坐标变换，将基准坐标系转换为以观察点P’为原点、PP’为z轴的目标坐标系。目标坐标系的y轴和z轴旋转公式为：
Figure BDA0002564620720000051
Figure BDA0002564620720000052
其中θy是pitch角，θz是yaw角。
[y',x',z']T＝Ry(-θy)Rz(-θz)[x,y,z]T (3)
z'＝-z'+R (4)
其中，[x,y,z]是基准坐标系的原点坐标，[x',y',z']是目标坐标系的原点坐标，R代表偏移量。随后在P’点按照透视原理以及视场“近大远小”规则，将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集。
优选的，所述图像预处理模块具体处理过程为：
首先统计二维图像中灰度级范围rk，rk值域为[0,L-1]，在八位像素值表示中L等于256；然后统计每一个灰度级在二维图像中出现的频次nk，nk表示在二维图像中第k个灰度级的像素总数；当图像总像素点个数为N时，计算各级的概率公式为：
p(rk)＝nk/N (5)
由于rk步进为1，可以将式(5)改写为：
p(k)＝nk/N (6)
上式中将直方图分布归一化，将函数值p(k)值域归一化为[0,1]，然后对灰度级概率进行直方图变换：
sk＝T(rk) (7)
sk代表将原始灰度值rk通过函数映射得到的新灰度值。
优选的，所述物体位姿识别模块具体识别过程为：
预先加载目标模板图像到内存中，对预处理后的目标二维图像进行物体检测与识别；模板与源图像进行比较时，采用相似度测量的方法进行检测识别：
Figure BDA0002564620720000053
其中ori(O,r)为目标模板图像上位置r上的梯度，ori(I,c+r)为目标二维图像上在c+r上的梯度，其中c为目标二维图像上对应于目标模板图像的中心点，目标二维图像上和目标模板图像像素对应的像素的梯度；当多个同样目标二维图像堆叠摆放时，根据最终计算结果值，取最高得分值对应的位置。
优选的，所述配准模块具体配准过程为：
先对目标模板图像进行平移和旋转，通过最小二乘法来求出平移量和旋转量；然后对目标模板图像上的特征点，寻找特征点在目标二维图像上某邻域内的最近点作为其在目标二维图像上的对应点，对物体模板上每个特征点都找到对应点坐标，计算对应点的切线，同时计算特征点到对应点切线的距离，对所有特征点进行相同操作，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点，分别求出最小平方差和对(x,y；ω)的一阶偏导，并令其为0，求出(x,y；ω)值，其中(x,y)为目标物体在二维目标图像中的位置坐标，ω目标模板图像的旋转角度，将ω与当前匹配的目标模板图像的三维位姿信息进行合并叠加，即可得到目标物体最终三维位姿识别结果。
本发明的优点在于：
本发明的创新点在于以模板匹配算法为基础，可根据需求调节观测距离和基准坐标原点。对于新的待识别目标物体，只需要其3D模型即可快速生成大量模板数据集，算法的可移植性较强。本发明在硬件传感器上只需使用单目2D摄像机，能够降低硬件成本，易于在市场上进行推广应用。
附图说明
图1为本发明物体位姿评估方法实施例的流程框图；
图2为对图1的流程进一步细化的流程框图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1、图2所示，一种基于模板匹配的单目相机物体位姿估计方法，包括以下步骤：
步骤1、建立目标模板图像库
1)投影距离渐进设计
本实施例根据物体3D模型以球形相机的视野进行多角度、不同距离的投影，光照模式选择为模拟平行光投影；在实际情况中，物体无序摆放时会出现上下堆叠情况，此时相机镜头到物体的拍摄距离会有所差异。因此根据实际情况，选取与之相同距离的投影距离十分重要。根据上述情况，对投影观察原点到目标物体3D模型之间的距离进行多层次步进式设计，一般取三至五个不同观测距离即可满足应用要求。
2)基准坐标系的转换及投影
本实施例以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，其中PP’为目标坐标系的z轴；随后在P’点将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体3D模型的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集，形成目标模板图像；
2)基准坐标系的转换及投影
通过空间坐标变换，将基准坐标系转换为以观察点P’为原点、PP’为z轴的目标坐标系。目标坐标系的y轴和z轴旋转公式为：
Figure BDA0002564620720000071
Figure BDA0002564620720000072
其中θy是pitch角，θz是yaw角。
[y',x',z']T＝Ry(-θy)Rz(-θz)[x,y,z]T (3)
z'＝-z'+R (4)
通过(3)式(4)式两步即可实现基准坐标系的转化，其中，[x,y,z]是基准坐标系的原点坐标，[x',y',z']是目标坐标系的原点坐标，R代表偏移量。随后在P’点按照透视原理以及视场“近大远小”规则，将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即可快速生成大量在不同位姿和观测距离下的目标物体二维模板数据集。
S200、图像预处理
对获取到的二维图像采用直方图均衡法处理，得到目标二维图像；具体处理过程为：在使用2D相机对实际物体进行拍照时，由于室内光线的影响以及物体本身的纹理反光，会在图像中产生噪点和干扰纹理，影响模板匹配的效果。
根据不同物体的本身特性，对获取到的2D相机图像首先进行预处理。本发明用到的图像预处理算法是全局直方图均衡法。首先统计原始图像中灰度级范围rk，rk值域为[0,L-1]，在八位像素值表示中L等于256。然后统计每一个灰度级在原始图像中出现的频次nk，nk表示在图像中第k个灰度级的像素总数。当图像总像素点个数为N时，计算各级的概率公式为：
p(rk)＝nk/N (5)
由于rk步进为1，可以将式(5)改写为：
p(k)＝nk/N (6)
上式中将直方图分布归一化，将函数值p(k)值域归一化为[0,1]，与图像中像素总数无关。然后对灰度级概率进行直方图变换：
sk＝T(rk) (7)
sk代表将原始灰度值rk通过函数映射得到的新灰度值。
S300、物体位姿识别
采用目标模板图像对目标二维图像进行检测与识别；具体过程为：预先加载目标模板图像到内存中，对预处理后的目标二维图像进行物体检测与识别；模板与源图像进行比较时，采用相似度测量的方法进行检测识别：
Figure BDA0002564620720000081
其中ori(O,r)为目标模板图像上位置r上的梯度，ori(I,c+r)为目标二维图像上在c+r上的梯度，其中c为目标二维图像上对应于目标模板图像的中心点，目标二维图像上和目标模板图像像素对应的像素的梯度；当多个同样目标二维图像堆叠摆放时，根据最终计算结果值，取最高得分值对应的位置。
S400、配准
行模板匹配时，模板匹配算法得到的位置和图像中物体位置不一定完全重合，这时需要对匹配结果进行姿态微调，使其匹配到更准确的位置。具体操作为：先对目标模板图像进行平移和旋转，通过最小二乘法来求出平移量和旋转量；然后对目标模板图像上的特征点，寻找特征点在目标二维图像上某邻域内的最近点作为其在目标二维图像上的对应点，对物体模板上每个特征点都找到对应点坐标，计算对应点的切线，同时计算特征点到对应点切线的距离，对所有特征点进行相同操作，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点，分别求出最小平方差和对(x,y；ω)的一阶偏导，并令其为0，求出(x,y；ω)值，其中(x,y)为目标物体在二维目标图像中的位置坐标，ω目标模板图像的旋转角度，将ω与当前匹配的目标模板图像的三维位姿信息进行合并叠加，然后转化成rpy格式数据，即可得到目标物体最终三维位姿识别结果。
本实施例还提供一种基于模板匹配的单目相机物体位姿估计系统，包括
建立目标模板图像库模块，根据物体3D模型以球形相机的视野进行多角度、不同距离的投影，光照模式选择为模拟平行光投影；以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，其中PP’为目标坐标系的z轴；随后在P’点将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集，形成目标模板图像；
图像预处理模块，对获取到的二维图像采用直方图均衡法处理，得到目标二维图像；
物体位姿识别模块，采用目标模板图像对目标二维图像进行检测与识别；
配准模块，对目标模板图像进行平移和旋转，找到目标模板图像上的每个特征点对应在目标图像上的对应点坐标，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (10)

1.一种基于模板匹配的单目相机物体位姿估计方法，其特征在于：包括以下步骤：
S100、建立目标模板图像库
根据物体3D模型以球形相机的视野进行多角度、不同距离的投影，光照模式选择为模拟平行光投影；以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，其中PP’为目标坐标系的z轴；随后在P’点将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集，形成目标模板图像；
S200、图像预处理
对目标物体进行拍照，然后对获取到的二维图像采用直方图均衡法处理，得到目标二维图像；
S300、物体位姿识别
采用目标模板图像对目标二维图像进行检测与识别；
S400、配准
对目标模板图像进行平移和旋转，找到目标模板图像上的每个特征点对应在目标图像上的对应点坐标，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点。
2.根据权利要求1所述的一种基于模板匹配的单目相机物体位姿估计方法，其特征在于：所述步骤S100具体包括：
1)投影距离渐进设计
对投影观察原点到物体3D模型之间的距离进行多层次步进式设计，选择3至5个不同观测距离和角度进行投影；
2)基准坐标系的转换及投影
通过空间坐标变换，将基准坐标系转换为以观察点P’为原点、PP’为z轴的目标坐标系。目标坐标系的y轴和z轴旋转公式为：
Figure FDA0002564620710000011
Figure FDA0002564620710000021
其中θy是pitch角，θz是yaw角。
[y',x',z']T＝Ry(-θy)Rz(-θz)[x,y,z]T (3)
z'＝-z'+R (4)
其中，[x,y,z]是基准坐标系的原点坐标，[x',y',z']是目标坐标系的原点坐标，R代表偏移量。随后在P’点按照透视原理以及视场“近大远小”规则，将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集。
3.根据权利要求1所述的一种基于模板匹配的单目相机物体位姿估计方法，其特征在于：所述步骤S200具体包括：
首先统计二维图像中灰度级范围rk，rk值域为[0,L-1]，在八位像素值表示中L等于256；然后统计每一个灰度级在二维图像中出现的频次nk，nk表示在二维图像中第k个灰度级的像素总数；当图像总像素点个数为N时，计算各级的概率公式为：
p(rk)＝nk/N (5)
由于rk步进为1，可以将式(5)改写为：
p(k)＝nk/N (6)
上式中将直方图分布归一化，将函数值p(k)值域归一化为[0,1]，然后对灰度级概率进行直方图变换：
sk＝T(rk) (7)
sk代表将原始灰度值rk通过函数映射得到的新灰度值。
4.根据权利要求1所述的一种基于模板匹配的单目相机物体位姿估计方法，其特征在于：所述步骤S300具体包括：
预先加载目标模板图像到内存中，对预处理后的目标二维图像进行物体检测与识别；模板与源图像进行比较时，采用相似度测量的方法进行检测识别：
Figure FDA0002564620710000022
其中ori(O,r)为目标模板图像上位置r上的梯度，ori(I,c+r)为目标二维图像上在c+r上的梯度，其中c为目标二维图像上对应于目标模板图像的中心点，目标二维图像上和目标模板图像像素对应的像素的梯度；当多个同样目标二维图像堆叠摆放时，根据最终计算结果值，取最高得分值对应的位置。
5.根据权利要求1所述的一种基于模板匹配的单目相机物体位姿估计方法，其特征在于：所述步骤S400具体包括：
先对目标模板图像进行平移和旋转，通过最小二乘法来求出平移量和旋转量；然后对目标模板图像上的特征点，寻找特征点在目标二维图像上某邻域内的最近点作为其在目标二维图像上的对应点，对物体模板上每个特征点都找到对应点坐标，计算对应点的切线，同时计算特征点到对应点切线的距离，对所有特征点进行相同操作，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点，分别求出最小平方差和对(x,y；ω)的一阶偏导，并令其为0，求出(x,y；ω)值，其中(x,y)为目标物体在二维目标图像中的位置坐标，ω目标模板图像的旋转角度，将ω与当前匹配的目标模板图像的三维位姿信息进行合并叠加，即可得到目标物体最终三维位姿识别结果。
6.一种基于模板匹配的单目相机物体位姿估计系统，其特征在于：包括
建立目标模板图像库模块，根据物体3D模型以球形相机的视野进行多角度、不同距离的投影，光照模式选择为模拟平行光投影；以物体3D模型的质心或重心为基准坐标系原点，原点记作P，对基准坐标进行空间坐标转化，将基准坐标系转化为以观察点P’为原点的目标坐标系，其中PP’为目标坐标系的z轴；随后在P’点将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集，形成目标模板图像；
图像预处理模块，对目标物体进行拍照，然后对获取到的二维图像采用直方图均衡法处理，得到目标二维图像；
物体位姿识别模块，采用目标模板图像对目标二维图像进行检测与识别；
配准模块，对目标模板图像进行平移和旋转，找到目标模板图像上的每个特征点对应在目标图像上的对应点坐标，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点。
7.根据权利要求6所述的一种基于模板匹配的单目相机物体位姿估计系统，其特征在于：所述建立目标模板图像库模块具体建立过程为：
1)投影距离渐进设计
对投影观察原点到物体3D模型之间的距离进行多层次步进式设计，选择3至5个不同观测距离和角度进行投影；
2)基准坐标系的转换及投影
通过空间坐标变换，将基准坐标系转换为以观察点P’为原点、PP’为z轴的目标坐标系。目标坐标系的y轴和z轴旋转公式为：
Figure FDA0002564620710000041
Figure FDA0002564620710000042
其中θy是pitch角，θz是yaw角。
[y',x',z']T＝Ry(-θy)Rz(-θz)[x,y,z]T (3)
z'＝-z'+R (4)
其中，[x,y,z]是基准坐标系的原点坐标，[x',y',z']是目标坐标系的原点坐标，R代表偏移量。随后在P’点按照透视原理以及视场“近大远小”规则，将物体3D模型投影到xoy平面上获得二维模板图像，记录此时物体的三维位置以及P’点到物体3D模型之间的距离，即生成在不同位姿和观测距离下的物体3D模型二维模板数据集。
8.根据权利要求6所述的一种基于模板匹配的单目相机物体位姿估计系统，其特征在于：所述图像预处理模块具体处理过程为：
首先统计二维图像中灰度级范围rk，rk值域为[0,L-1]，在八位像素值表示中L等于256；然后统计每一个灰度级在二维图像中出现的频次nk，nk表示在二维图像中第k个灰度级的像素总数；当图像总像素点个数为N时，计算各级的概率公式为：
p(rk)＝nk/N (5)
由于rk步进为1，可以将式(5)改写为：
p(k)＝nk/N (6)
上式中将直方图分布归一化，将函数值p(k)值域归一化为[0,1]，然后对灰度级概率进行直方图变换：
sk＝T(rk) (7)
sk代表将原始灰度值rk通过函数映射得到的新灰度值。
9.根据权利要求6所述的一种基于模板匹配的单目相机物体位姿估计系统，其特征在于：所述物体位姿识别模块具体识别过程为：
预先加载目标模板图像到内存中，对预处理后的目标二维图像进行物体检测与识别；模板与源图像进行比较时，采用相似度测量的方法进行检测识别：
Figure FDA0002564620710000051
其中ori(O,r)为目标模板图像上位置r上的梯度，ori(I,c+r)为目标二维图像上在c+r上的梯度，其中c为目标二维图像上对应于目标模板图像的中心点，目标二维图像上和目标模板图像像素对应的像素的梯度；当多个同样目标二维图像堆叠摆放时，根据最终计算结果值，取最高得分值对应的位置。
10.根据权利要求9所述的一种基于模板匹配的单目相机物体位姿估计系统，其特征在于：所述配准模块具体配准过程为：
先对目标模板图像进行平移和旋转，通过最小二乘法来求出平移量和旋转量；然后对目标模板图像上的特征点，寻找特征点在目标二维图像上某邻域内的最近点作为其在目标二维图像上的对应点，对物体模板上每个特征点都找到对应点坐标，计算对应点的切线，同时计算特征点到对应点切线的距离，对所有特征点进行相同操作，通过特征点坐标和对应点切线进行最小平方差运算，使特征点尽量靠近对应点，分别求出最小平方差和对(x,y；ω)的一阶偏导，并令其为0，求出(x,y；ω)值，其中(x,y)为目标物体在二维目标图像中的位置坐标，ω目标模板图像的旋转角度，将ω与当前匹配的目标模板图像的三维位姿信息进行合并叠加，即可得到目标物体最终三维位姿识别结果。
CN202010619253.2A 2020-07-01 2020-07-01 一种基于模板匹配的单目相机物体位姿估计方法及系统 Active CN111768447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010619253.2A CN111768447B (zh) 2020-07-01 2020-07-01 一种基于模板匹配的单目相机物体位姿估计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010619253.2A CN111768447B (zh) 2020-07-01 2020-07-01 一种基于模板匹配的单目相机物体位姿估计方法及系统

Publications (2)

Publication Number Publication Date
CN111768447A true CN111768447A (zh) 2020-10-13
CN111768447B CN111768447B (zh) 2024-03-01

Family

ID=72724475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010619253.2A Active CN111768447B (zh) 2020-07-01 2020-07-01 一种基于模板匹配的单目相机物体位姿估计方法及系统

Country Status (1)

Country Link
CN (1) CN111768447B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465898A (zh) * 2020-11-20 2021-03-09 上海交通大学 一种基于棋盘格标定板的物体3d位姿标签获取方法
CN112837424A (zh) * 2021-02-04 2021-05-25 脸萌有限公司 图像处理方法、装置、设备和计算机可读存储介质
CN115147816A (zh) * 2021-03-29 2022-10-04 东风汽车集团股份有限公司 视线区域检测方法、系统、设备、介质和车辆
CN115661493A (zh) * 2022-12-28 2023-01-31 航天云机(北京)科技有限公司 一种对象位姿的确定方法及装置、设备及存储介质
CN115760984A (zh) * 2022-11-23 2023-03-07 南京理工大学 一种立方星基于单目视觉的非合作目标位姿测量方法
CN117152257A (zh) * 2023-10-31 2023-12-01 罗普特科技集团股份有限公司 一种用于地面监控摄像机多维角度计算的方法和装置
CN117274326A (zh) * 2023-08-25 2023-12-22 中国农业大学 基于距离估计和姿态参数的机器视觉图像配准方法和系统
CN117495970A (zh) * 2024-01-03 2024-02-02 中国科学技术大学 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN110648361A (zh) * 2019-09-06 2020-01-03 深圳市华汉伟业科技有限公司 一种三维目标物体的实时位姿估计方法及定位抓取系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208997A1 (en) * 2010-11-02 2013-08-15 Zte Corporation Method and Apparatus for Combining Panoramic Image
WO2019157924A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 三维物体的实时检测方法及系统
CN109801337A (zh) * 2019-01-21 2019-05-24 同济大学 一种基于实例分割网络和迭代优化的6d位姿估计方法
CN110648361A (zh) * 2019-09-06 2020-01-03 深圳市华汉伟业科技有限公司 一种三维目标物体的实时位姿估计方法及定位抓取系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张子淼;王鹏;孙长库;: "单目视觉位姿测量方法及数字仿真", 天津大学学报, no. 05 *
黄风山;刘恩福;方忆湘;韩宁;: "基于智能三坐标测量机的零件位姿单目立体视觉识别", 光学精密工程, no. 05 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465898A (zh) * 2020-11-20 2021-03-09 上海交通大学 一种基于棋盘格标定板的物体3d位姿标签获取方法
CN112837424A (zh) * 2021-02-04 2021-05-25 脸萌有限公司 图像处理方法、装置、设备和计算机可读存储介质
CN112837424B (zh) * 2021-02-04 2024-02-06 脸萌有限公司 图像处理方法、装置、设备和计算机可读存储介质
CN115147816A (zh) * 2021-03-29 2022-10-04 东风汽车集团股份有限公司 视线区域检测方法、系统、设备、介质和车辆
CN115760984A (zh) * 2022-11-23 2023-03-07 南京理工大学 一种立方星基于单目视觉的非合作目标位姿测量方法
CN115661493A (zh) * 2022-12-28 2023-01-31 航天云机(北京)科技有限公司 一种对象位姿的确定方法及装置、设备及存储介质
CN117274326A (zh) * 2023-08-25 2023-12-22 中国农业大学 基于距离估计和姿态参数的机器视觉图像配准方法和系统
CN117152257A (zh) * 2023-10-31 2023-12-01 罗普特科技集团股份有限公司 一种用于地面监控摄像机多维角度计算的方法和装置
CN117152257B (zh) * 2023-10-31 2024-02-27 罗普特科技集团股份有限公司 一种用于地面监控摄像机多维角度计算的方法和装置
CN117495970A (zh) * 2024-01-03 2024-02-02 中国科学技术大学 基于模板多级匹配的化学仪器位姿估计方法、设备及介质
CN117495970B (zh) * 2024-01-03 2024-05-14 中国科学技术大学 基于模板多级匹配的化学仪器位姿估计方法、设备及介质

Also Published As

Publication number Publication date
CN111768447B (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN111768447B (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
Tu et al. 3D face reconstruction from a single image assisted by 2D face images in the wild
CN110648361B (zh) 一种三维目标物体的实时位姿估计方法及定位抓取系统
CN109059895B (zh) 一种基于手机摄像头和传感器的多模态室内测距及定位方法
CN108564616B (zh) 快速鲁棒的rgb-d室内三维场景重建方法
He et al. Sparse template-based 6-D pose estimation of metal parts using a monocular camera
CN108122256B (zh) 一种逼近状态下旋转目标位姿测量的方法
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
CN106919944B (zh) 一种基于orb算法的大视角图像快速识别方法
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
Yu et al. Robust robot pose estimation for challenging scenes with an RGB-D camera
CN106778628A (zh) 一种基于tof深度相机的面部表情捕捉方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN107818598B (zh) 一种基于视觉矫正的三维点云地图融合方法
CN110490913A (zh) 基于角点与单线段编组的特征描述算子进行影像匹配方法
CN110751097B (zh) 一种半监督的三维点云手势关键点检测方法
CN107563323A (zh) 一种视频人脸特征点定位方法
CN115147599A (zh) 一种面向遮挡和截断场景的多几何特征学习的物体六自由度位姿估计方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN114358166B (zh) 一种基于自适应k均值聚类的多目标定位方法
CN114066954B (zh) 一种用于多模态图像的特征提取配准方法
Lu et al. Large-scale tracking for images with few textures
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法
Zhao et al. Cvml-pose: convolutional vae based multi-level network for object 3d pose estimation
Dong et al. Superpixel-based local features for image matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220728

Address after: 236000 room 306, building 3, Zone C, intelligent equipment science and Technology Park, 3963 Susong Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant after: Hefei Hagong HUICAI Intelligent Technology Co.,Ltd.

Address before: Room 6012, Haiheng building, No.6 Cuiwei Road, Hefei Economic and Technological Development Zone, Anhui Province

Applicant before: HRG INTERNATIONAL INSTITUTE FOR RESEARCH & INNOVATION

GR01 Patent grant
GR01 Patent grant