CN106846382A - 一种基于直方图控制点的图像配准目标检测方法 - Google Patents
一种基于直方图控制点的图像配准目标检测方法 Download PDFInfo
- Publication number
- CN106846382A CN106846382A CN201710052751.1A CN201710052751A CN106846382A CN 106846382 A CN106846382 A CN 106846382A CN 201710052751 A CN201710052751 A CN 201710052751A CN 106846382 A CN106846382 A CN 106846382A
- Authority
- CN
- China
- Prior art keywords
- iteration
- control point
- forest
- point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Image Analysis (AREA)
Abstract
本发明中提出的一种基于直方图控制点的图像配准目标检测方法,其主要内容包括:缩放变量部分表示:直方图控制点(HoCP),HoCP和迭代霍夫森林(IHF)检测算法的组合,6D对象姿态估计,其过程为,先将直方图控制点特征的计算过程描述为缩放变量部分表示,用隐式B样条表示点云,然后将这些尺度变化特征的辨别信息编码到迭代霍夫森林检测算法中,最后,利用学习到的形状信息以粗略到精细的方式细化6D对象姿态估计。本发明运用了迭代霍夫森林检测算法的控制点直方图的新型架构,能够估计给定候选2D边界框的遮挡和混乱对象的6D姿态,确保了对象姿态的细化,提高在严重闭塞和杂波以及类似的视觉干扰的情况下的配准效果。
Description
技术领域
本发明涉及图像配准领域,尤其是涉及了一种基于直方图控制点的图像配准目标检测方法。
背景技术
目标检测可用于检测图像中的人体以及动物的各个器官、部位,以及食物,家居用品等物品的颜色、种类,它是图像增强、图像恢复、特征提取、特征匹配、图像编码压缩和形状分析等的基础,在计算机视觉、医学图像处理,如肿瘤检测、病变定位、血管造影,还有地质勘探、航空侦察,场景理解、机器人的控制、导航以及材料力学等领域都具有广泛的应用。根据具体应用的不同,有的侧重于通过变换结果融合两幅图像,有的侧重于研究变换本身以获得对象的一些力学属性。图像配准技术经历了从静态到动态,从形态到功能,从平面到立体的飞速发展。迭代最近点(ICP)算法,基于点到模型的方法和点到点技术等,虽然证明了有良好的配准结果,但是这些方法的性能在严重闭塞和杂波以及类似的视觉干扰的情况下效果明显降低。
本发明提出了一种基于直方图控制点的图像配准目标检测方法,首先将直方图控制点(HoCP)特征的计算过程描述为缩放变量部分表示,用隐式B样条(IBS)表示点云,然后将这些尺度变化特征的辨别信息编码到迭代霍夫森林(IHF)检测算法中,最后,利用学习到的形状信息以粗略到精细的方式细化6D对象姿态估计,通过初始配准大致对准测试对象,通过迭代姿态细化进一步改进。本发明运用了迭代霍夫森林检测算法的控制点直方图的新型架构,能够估计给定候选2D边界框的遮挡和混乱对象的6D姿态,确保了对象姿态的细化,提高在严重闭塞和杂波以及类似的视觉干扰的情况下的配准效果。
发明内容
针对用户在严重闭塞和杂波以及类似的视觉干扰的情况下效果明显降低等问题,本发明的目的在于提供一种基于直方图控制点的图像配准目标检测方法,首先将直方图控制点(HoCP)特征的计算过程描述为缩放变量部分表示,用隐式B样条(IBS)表示点云,然后将这些尺度变化特征的辨别信息编码到迭代霍夫森林(IHF)检测算法中,最后,利用学习到的形状信息以粗略到精细的方式细化6D对象姿态估计,通过初始配准大致对准测试对象,通过迭代姿态细化进一步改进。
为解决上述问题,本发明提供一种基于直方图控制点的图像配准目标检测方法,其主要内容包括:
(一)缩放变量部分表示:直方图控制点(HoCP);
(二)HoCP和迭代霍夫森林(IHF)检测算法的组合;
(三)6D对象姿态估计。
其中,所述的缩放变量部分表示:直方图控制点(HoCP),给定一个正的深度图像,最初将其归一化为一个单位立方体,不同尺度的新点云被采样如下:
其中,
其中,X=[X,Y,Z]是原始前景点云的坐标向量,是X的平均值,XN=[XN,YN,ZN]是归一化的前景像素,m是尺度的数量,α是比例因子,h是比例;常数si取实数以生成不同尺度的点云,从对应于初始归一化的s0=1开始。
进一步地,所述的用隐式B样条(IBS)表示点云,一旦生成一组尺度空间图像,首先用IBS的控制点全局地表示这些点云;IBS通过B样条张量积的组合来定义:
其中,{ni,j,k}是定义大小为N×N×N的控制点阵的系数,Bi(x),Bj(y),Bk(z)是样条基函数;该定义可以重新表示为以下内积:
f(x)=nTe(x)=e(x)Tn (4)
其中,系数向量n包括控制值{ni,j,k},并且基向量e(x)取决于给定数据点,因为它对样条基函数乘积{Bi(x)Bj(y)Bk(z)}进行排序;公式(4)中的基向量为整个点云计算,系数向量n基于3L算法计算;通过以下混合函数构建样条基函数Bi(x),Bj(y),Bk(z):
并重新定义公式(3),以便确定被归一化为单位立方体[0 1]3的点云的控制点矢量n:
其中,
Δ=1/(N-3)
因此,单位立方体被分成N×N×N个体素网格,其中N是IBS分辨率;n中的每个控制点用索引权重对进行定义:索引号表示相关控制点所在的网格的顶点。
进一步地,所述的隐式B样条(IBS),IBS将全局表示的规模空间深度图划分为多个部分;在图像像素中表示部分大小g,其也描绘了提取部分的大小与全局点云的边界框之间的比率;提取和表示具有相同大小的部分,即在每个尺度上每个单独像素周围生长的部分占据图像像素中的相同面积,现在扩展为提取大小不同的部分;
以度量坐标定义的3D边界框在每个尺度空间图像的单位立方体中遍历,并且在非零像素周围提取部分;在该3D边界框中的数据点的总数对于不同尺度的点云而变化,因此,提取的部分的尺寸不同;
每个部分具有其自己的隐含体积表示,由到部件中心的最接近的控制点形成,沿着位于3D边界框内的深度方向;这些部分描述以级联方式表征局部性,在点周围生长具有不同特性的区域;将此信息编码为球面坐标中的直方图,每个零件中心与球体的中心重合,该部分的控制点由半径tr的对数,倾斜度tθ的余弦描述和方位角tφ;然后,将球体划分为二进制数和二进制数vr,vθ,vφ之间的关系,和直方图坐标tr,tθ,tφ,给出如下:
其中,rmin和rmax是具有最小和最大体积的嵌套球的半径,x,y,z是具有半径r的每个描述符的笛卡尔坐标;rmax等于贴片中心和相关贴片的最远描述符之间的距离;每个区间中的控制点的数目被计数并存储d=vr*vθ*vφ维特征矢量f中。
其中,所述的HoCP和迭代霍夫森林(IHF)检测算法的组合,IHF是随机二进制决策树的组合;它仅仅在感兴趣对象的前景合成渲染的深度图像上被训练;从每个训练点云生成一组尺度空间图像,并采样一组部分{Pi},注释如下:
其中,是以像素为单位的部分中心,Δxi=(Δxi,Δyi,Δzi)是零件和物体的中心之间的3D偏移量,是从其提取部分Pi的点云的旋转参数,Di是部分的深度图。
进一步地,所述的迭代霍夫森林(IHF)检测算法,每个树通过使用注释训练部分的子集来构造;从中随机选择一个模板补丁T,并将其分配给根节点;测量T和中的每个补丁Si之间的相似性如下:
(1)深度检查:检查表示部分Si和T的描述符和Tn的深度值,并去除中的空间不一致的深度值,生成Ω,包括块Si的空间一致的描述符;
(2)相似性度量:使用Ω,生成特征向量fΩ,并测量此向量和fT之间的范数:
(3)相似性分数比较:根据将相似性度量的分数与随机选择的阈值τ进行比较的分割函数将每个分片传递到左或右子节点;
通过使用一组随机分配的分片{Ti}和阈值{τi}来在每个节点处产生一组候选分裂函数;选择最佳优化偏移和姿态回归熵的函数作为分割函数;通过递归地重复该过程来生长每个树,直到满足森林终止标准;当满足终止条件时,形成叶节点,并且它们存储对于对象中心Δx=(Δx,Δy,Δz)和对象旋转θ=(θr,θp,θy);
根据零件提取方法,中的所有零件,如公式(8),可以具有相同的大小或可变的大小;从现在开始,把可变尺寸部件上训练的森林称为IHF可变尺寸,通过使用固定尺寸部分作为IHF固定尺寸学习的森林。
其中,所述的6D对象姿态估计,将尺度变量HoCP特征的判别信息编码到森林中,接下来演示对象的6D姿态估计,认为学习的森林是IHF变量大小;所提出的架构在两个步骤中配准对象:初始配准和迭代姿态细化。
进一步地,所述的初始配准,大致对准测试对象,并且该对准通过迭代姿态细化进一步改进;
考虑由粗边界框Ib检测到的对象,在迭代时刻k,定义以下量:
Δx0:k={Δx0,Δx1,…,Δxk}={Δx0,Δx1:k}:对象位置预测的历史;
θ0:k={θ0,θ1,…,θk}={θ0,θ1:k}:对象旋转估计的历史;
V0:k={v0,v1,…,vk}:应用于测试图像的输入(噪声去除)的历史;
特征向量的集合的历史,其中
hk:在迭代k处的单位立方体中的对象尺度(前景像素的尺度),如公式(2);
gk:在迭代k处提取的部分的大小;
将初始配准制定如下:
找到最大化初始对象位置Δx0和初始对象旋转θ0的关节后密度的最佳参数;首先将测试图像标准化为单位立方体;与训练不同,这是对应s0=1的“单”尺度归一化,如公式(1);从全局表示的点云提取的补丁用HoCP特征描述,并且沿所有树传递。
进一步地,所述的初始化配准阶段,在这个阶段,从测试图像中提取最粗糙的补片,即在图像像素中占据最大面积的补片;通过累积存储在叶节点中的投票来确定所有补丁对对象姿态的影响,并近似公式(1)中给出的初始配准;一旦获得初始假设x0=(Δx0,θ0),则根据以下标准从Ib中去除属于背景/前景杂波{Pi}的像素集合:
以及
其中,和是在迭代k处假设H的深度图,并且Ib,ψ1和ψ2是缩放系数。
进一步地,所述的迭代姿态细化,测试图像和初始假设被叠加;利用这个假设,并且如公式(11)中那样,由v1更新测试图像,并被分配作为第一次迭代的输入;
它被归一化表示,单位立方体中的对象“缩放”(h1)相对增加(与初始配准相比),并且计算更多的辨别性控制点描述符n;遍历单位立方体中的3D边界框,而标准化对象尺度的增加产生尺寸比在初始配准期间提取的那些尺寸更小(更精细)的提取片段;这种姿态细化处理被迭代地执行,直到达到最大迭代:
以像素为单位提取具有预定义尺寸的部分,并且在迭代时刻k,gk将保持与g0相同。
附图说明
图1是本发明一种基于直方图控制点的图像配准目标检测方法的系统流程图。
图2是本发明一种基于直方图控制点的图像配准目标检测方法的迭代霍夫森林检测算法和控制点直方图。
图3是本发明一种基于直方图控制点的图像配准目标检测方法的6D对象姿态估计。
图4是本发明一种基于直方图控制点的图像配准目标检测方法的初始配准和迭代姿态细化。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于直方图控制点的图像配准目标检测方法的系统流程图。主要包括缩放变量部分表示:直方图控制点(HoCP),HoCP和迭代霍夫森林(IHF)检测算法的组合以及6D对象姿态估计。
缩放变量部分表示:直方图控制点(HoCP),给定一个正的深度图像,最初将其归一化为一个单位立方体,不同尺度的新点云被采样如下:
其中,
其中,X=[X,Y,Z]是原始前景点云的坐标向量,是X的平均值,XN=[XN,YN,ZN]是归一化的前景像素,m是尺度的数量,α是比例因子,h是比例;常数si取实数以生成不同尺度的点云,从对应于初始归一化的s0=1开始。
隐式B样条(IBS)表示点云,一旦生成一组尺度空间图像,首先用IBS的控制点全局地表示这些点云;IBS通过B样条张量积的组合来定义:
其中,{ni,j,k}是定义大小为N×N×N的控制点阵的系数,Bi(x),Bj(y),Bk(z)是样条基函数;该定义可以重新表示为以下内积:
f(x)=nTe(x)=e(x)Tn (4)
其中,系数向量n包括控制值{ni,j,k},并且基向量e(x)取决于给定数据点,因为它对样条基函数乘积{Bi(x)Bj(y)Bk(z)}进行排序;公式(4)中的基向量为整个点云计算,系数向量n基于3L算法计算;通过以下混合函数构建样条基函数Bi(x),Bj(y),Bk(z):
并重新定义公式(3),以便确定被归一化为单位立方体[0 1]3的点云的控制点矢量n:
其中,
Δ=1/(N-3)
因此,单位立方体被分成N×N×N个体素网格,其中N是IBS分辨率;n中的每个控制点用索引权重对进行定义:索引号表示相关控制点所在的网格的顶点。
IBS将全局表示的规模空间深度图划分为多个部分;在图像像素中表示部分大小g,其也描绘了提取部分的大小与全局点云的边界框之间的比率;提取和表示具有相同大小的部分,即在每个尺度上每个单独像素周围生长的部分占据图像像素中的相同面积,现在扩展为提取大小不同的部分;
以度量坐标定义的3D边界框在每个尺度空间图像的单位立方体中遍历,并且在非零像素周围提取部分;在该3D边界框中的数据点的总数对于不同尺度的点云而变化,因此,提取的部分的尺寸不同;
每个部分具有其自己的隐含体积表示,由到部件中心的最接近的控制点形成,沿着位于3D边界框内的深度方向;这些部分描述以级联方式表征局部性,在点周围生长具有不同特性的区域;将此信息编码为球面坐标中的直方图,每个零件中心与球体的中心重合,该部分的控制点由半径tr的对数,倾斜度tθ的余弦描述和方位角tφ;然后,将球体划分为二进制数和二进制数vr,vθ,vφ之间的关系,和直方图坐标tr,tθ,tφ,给出如下:
其中,rmin和rmax是具有最小和最大体积的嵌套球的半径,x,y,z是具有半径r的每个描述符的笛卡尔坐标;rmax等于贴片中心和相关贴片的最远描述符之间的距离;每个区间中的控制点的数目被计数并存储d=vr*vθ*vφ维特征矢量f中。
图2是本发明一种基于直方图控制点的图像配准目标检测方法的迭代霍夫森林检测算法和控制点直方图。迭代霍夫森林检测算法是随机二进制决策树的组合;它仅仅在感兴趣对象的前景合成渲染的深度图像上被训练;从每个训练点云生成一组尺度空间图像,并采样一组部分{Pi},注释如下:
其中,是以像素为单位的部分中心,Δxi=(Δxi,Δyi,Δzi)是零件和物体的中心之间的3D偏移量,是从其提取部分Pi的点云的旋转参数,Di是部分的深度图。
迭代霍夫森林(IHF)检测算法中,每个树通过使用注释训练部分的子集来构造;从中随机选择一个模板补丁T,并将其分配给根节点;测量T和中的每个补丁Si之间的相似性如下:
(1)深度检查:检查表示部分Si和T的描述符和Tn的深度值,并去除中的空间不一致的深度值,生成Ω,包括块Si的空间一致的描述符;
(2)相似性度量:使用Ω,生成特征向量fΩ,并测量此向量和fT之间的范数:
(3)相似性分数比较:根据将相似性度量的分数与随机选择的阈值τ进行比较的分割函数将每个分片传递到左或右子节点;
通过使用一组随机分配的分片{Ti}和阈值{τi}来在每个节点处产生一组候选分裂函数;选择最佳优化偏移和姿态回归熵的函数作为分割函数;通过递归地重复该过程来生长每个树,直到满足森林终止标准;当满足终止条件时,形成叶节点,并且它们存储对于对象中心Δx=(Δx,Δy,Δz)和对象旋转θ=(θr,θp,θy);
根据零件提取方法,中的所有零件,如公式(8),可以具有相同的大小或可变的大小;从现在开始,把可变尺寸部件上训练的森林称为IHF可变尺寸,通过使用固定尺寸部分作为IHF固定尺寸学习的森林。
图3是本发明一种基于直方图控制点的图像配准目标检测方法的6D对象姿态估计。将尺度变量HoCP特征的判别信息编码到森林中,接下来演示对象的6D姿态估计,认为学习的森林是IHF变量大小;所提出的架构在两个步骤中配准对象:初始配准和迭代姿态细化。
图4是本发明一种基于直方图控制点的图像配准目标检测方法的初始配准和迭代姿态细化。大致对准测试对象,并且该对准通过迭代姿态细化进一步改进;
考虑由粗边界框Ib检测到的对象,在迭代时刻k,定义以下量:
Δx0:k={Δx0,Δx1,…,Δxk}={Δx0,Δx1:k}:对象位置预测的历史;
θ0:k={θ0,θ1,…,θk}={θ0,θ1:k}:对象旋转估计的历史;
V0:k={v0,v1,…,vk}:应用于测试图像的输入(噪声去除)的历史;
特征向量的集合的历史,其中
hk:在迭代k处的单位立方体中的对象尺度(前景像素的尺度),如公式(2);
gk:在迭代k处提取的部分的大小;
将初始配准制定如下:
找到最大化初始对象位置Δx0和初始对象旋转θ0的关节后密度的最佳参数;首先将测试图像标准化为单位立方体;与训练不同,这是对应s0=1的“单”尺度归一化,如公式(1);从全局表示的点云提取的补丁用HoCP特征描述,并且沿所有树传递。
在初始化配准阶段,从测试图像中提取最粗糙的补片,即在图像像素中占据最大面积的补片;通过累积存储在叶节点中的投票来确定所有补丁对对象姿态的影响,并近似公式(1)中给出的初始配准;一旦获得初始假设x0=(Δx0,θ0),则根据以下标准从Ib中去除属于背景/前景杂波{Pi}的像素集合:
以及
其中,和是在迭代k处假设H的深度图,并且Ib,ψ1和ψ2是缩放系数。
迭代姿态细化,测试图像和初始假设被叠加;利用这个假设,并且如公式(11)中那样,由v1更新测试图像,并被分配作为第一次迭代的输入;
它被归一化表示,单位立方体中的对象“缩放”(h1)相对增加(与初始配准相比),并且计算更多的辨别性控制点描述符n;遍历单位立方体中的3D边界框,而标准化对象尺度的增加产生尺寸比在初始配准期间提取的那些尺寸更小(更精细)的提取片段;这种姿态细化处理被迭代地执行,直到达到最大迭代:
以像素为单位提取具有预定义尺寸的部分,并且在迭代时刻k,gk将保持与g0相同。
对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
Claims (10)
1.一种基于直方图控制点的图像配准目标检测方法,其特征在于,主要包括缩放变量部分表示:直方图控制点(HoCP)(一);HoCP和迭代霍夫森林(IHF)检测算法的组合(二);6D对象姿态估计(三)。
2.基于权利要求书1所述的缩放变量部分表示:直方图控制点(HoCP)(一),其特征在于,给定一个正的深度图像,最初将其归一化为一个单位立方体,不同尺度的新点云被采样如下:
其中,
其中,X=[X,Y,Z]是原始前景点云的坐标向量,是X的平均值,XN=[XN,YN,ZN]是归一化的前景像素,m是尺度的数量,α是比例因子,h是比例;常数si取实数以生成不同尺度的点云,从对应于初始归一化的s0=1开始。
3.基于权利要求书2所述的用隐式B样条(IBS)表示点云,其特征在于,一旦生成一组尺度空间图像,首先用IBS的控制点全局地表示这些点云;IBS通过B样条张量积的组合来定义:
其中,{ni,j,k}是定义大小为N×N×N的控制点阵的系数,Bi(x),Bj(y),Bk(z)是样条基函数;该定义可以重新表示为以下内积:
f(x)=nTe(x)=e(x)Tn (4)
其中,系数向量n包括控制值{ni,j,k},并且基向量e(x)取决于给定数据点,因为它对样条基函数乘积{Bi(x)Bj(y)Bk(z)}进行排序;公式(4)中的基向量为整个点云计算,系数向量n基于3L算法计算;通过以下混合函数构建样条基函数Bi(x),Bj(y),Bk(z):
并重新定义公式(3),以便确定被归一化为单位立方体[0 1]3的点云的控制点矢量n:
其中,
Δ=1/(N-3)
因此,单位立方体被分成N×N×N个体素网格,其中N是IBS分辨率;n中的每个控制点用索引权重对进行定义:索引号表示相关控制点所在的网格的顶点。
4.基于权利要求书3所述的隐式B样条(IBS),其特征在于,IBS将全局表示的规模空间深度图划分为多个部分;在图像像素中表示部分大小g,其也描绘了提取部分的大小与全局点云的边界框之间的比率;提取和表示具有相同大小的部分,即在每个尺度上每个单独像素周围生长的部分占据图像像素中的相同面积,现在扩展为提取大小不同的部分;
以度量坐标定义的3D边界框在每个尺度空间图像的单位立方体中遍历,并且在非零像素周围提取部分;在该3D边界框中的数据点的总数对于不同尺度的点云而变化,因此,提取的部分的尺寸不同;
每个部分具有其自己的隐含体积表示,由到部件中心的最接近的控制点形成,沿着位于3D边界框内的深度方向;这些部分描述以级联方式表征局部性,在点周围生长具有不同特性的区域;将此信息编码为球面坐标中的直方图,每个零件中心与球体的中心重合,该部分的控制点由半径tr的对数,倾斜度tθ的余弦描述和方位角tφ;然后,将球体划分为二进制数和二进制数vr,vθ,vφ之间的关系,和直方图坐标tr,tθ,tφ,给出如下:
其中,rmin和rmax是具有最小和最大体积的嵌套球的半径,x,y,z是具有半径r的每个描述符的笛卡尔坐标;rmax等于贴片中心和相关贴片的最远描述符之间的距离;每个区间中的控制点的数目被计数并存储d=vr*vθ*vφ维特征矢量f中。
5.基于权利要求书1所述的HoCP和迭代霍夫森林(IHF)检测算法的组合(二),其特征在于,IHF是随机二进制决策树的组合;它仅仅在感兴趣对象的前景合成渲染的深度图像上被训练;从每个训练点云生成一组尺度空间图像,并采样一组部分{Pi},注释如下:
其中,是以像素为单位的部分中心,Δxi=(Δxi,Δyi,Δzi)是零件和物体的中心之间的3D偏移量,是从其提取部分Pi的点云的旋转参数,Di是部分的深度图。
6.基于权利要求书5所述的迭代霍夫森林(IHF)检测算法,其特征在于,每个树通过使用注释训练部分的子集来构造;从中随机选择一个模板补丁T,并将其分配给根节点;测量T和中的每个补丁Si之间的相似性如下:
(1)深度检查:检查表示部分Si和T的描述符和Tn的深度值,并去除中的空间不一致的深度值,生成Ω,包括块Si的空间一致的描述符;
(2)相似性度量:使用Ω,生成特征向量fΩ,并测量此向量和fT之间的范数:
(3)相似性分数比较:根据将相似性度量的分数与随机选择的阈值τ进行比较的分割函数将每个分片传递到左或右子节点;
通过使用一组随机分配的分片{Ti}和阈值{τi}来在每个节点处产生一组候选分裂函数;选择最佳优化偏移和姿态回归熵的函数作为分割函数;通过递归地重复该过程来生长每个树,直到满足森林终止标准;当满足终止条件时,形成叶节点,并且它们存储对于对象中心Δx=(Δx,Δy,Δz)和对象旋转θ=(θr,θp,θy);
根据零件提取方法,中的所有零件,如公式(8),可以具有相同的大小或可变的大小;从现在开始,把可变尺寸部件上训练的森林称为IHF可变尺寸,通过使用固定尺寸部分作为IHF固定尺寸学习的森林。
7.基于权利要求书1所述的6D对象姿态估计(三),其特征在于,将尺度变量HoCP特征的判别信息编码到森林中,接下来演示对象的6D姿态估计,认为学习的森林是IHF变量大小;所提出的架构在两个步骤中配准对象:初始配准和迭代姿态细化。
8.基于权利要求书7所述的初始配准,其特征在于,大致对准测试对象,并且该对准通过迭代姿态细化进一步改进;
考虑由粗边界框Ib检测到的对象,在迭代时刻k,定义以下量:
Δx0:k={Δx0,Δx1,…,Δxk}={Δx0,Δx1:k}:对象位置预测的历史;
θ0:k={θ0,θ1,…,θk}={θ0,θ1:k}:对象旋转估计的历史;
V0:k={v0,v1,…,vk}:应用于测试图像的输入(噪声去除)的历史;
特征向量的集合的历史,其中
hk:在迭代k处的单位立方体中的对象尺度(前景像素的尺度),如公式(2);
gk:在迭代k处提取的部分的大小;
将初始配准制定如下:
找到最大化初始对象位置Δx0和初始对象旋转θ0的关节后密度的最佳参数;首先将测试图像标准化为单位立方体;与训练不同,这是对应s0=1的“单”尺度归一化,如公式(1);从全局表示的点云提取的补丁用HoCP特征描述,并且沿所有树传递。
9.基于权利要求书8所述的初始化配准阶段,其特征在于,在这个阶段,从测试图像中提取最粗糙的补片,即在图像像素中占据最大面积的补片;通过累积存储在叶节点中的投票来确定所有补丁对对象姿态的影响,并近似公式(1)中给出的初始配准;一旦获得初始假设x0=(Δx0,θ0),则根据以下标准从Ib中去除属于背景/前景杂波{Pi}的像素集合:
以及
其中,和是在迭代k处假设H的深度图,并且Ib,ψ1和ψ2是缩放系数。
10.基于权利要求书7所述的迭代姿态细化,其特征在于,测试图像和初始假设被叠加;利用这个假设,并且如公式(11)中那样,由v1更新测试图像,并被分配作为第一次迭代的输入;
它被归一化表示,单位立方体中的对象“缩放”(h1)相对增加(与初始配准相比),并且计算更多的辨别性控制点描述符n;遍历单位立方体中的3D边界框,而标准化对象尺度的增加产生尺寸比在初始配准期间提取的那些尺寸更小(更精细)的提取片段;这种姿态细化处理被迭代地执行,直到达到最大迭代:
以像素为单位提取具有预定义尺寸的部分,并且在迭代时刻k,gk将保持与g0相同。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710052751.1A CN106846382A (zh) | 2017-01-22 | 2017-01-22 | 一种基于直方图控制点的图像配准目标检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710052751.1A CN106846382A (zh) | 2017-01-22 | 2017-01-22 | 一种基于直方图控制点的图像配准目标检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106846382A true CN106846382A (zh) | 2017-06-13 |
Family
ID=59119883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710052751.1A Withdrawn CN106846382A (zh) | 2017-01-22 | 2017-01-22 | 一种基于直方图控制点的图像配准目标检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106846382A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344618A (zh) * | 2018-02-08 | 2019-02-15 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于深度森林的恶意代码分类方法 |
WO2020063475A1 (zh) * | 2018-09-25 | 2020-04-02 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
CN111080658A (zh) * | 2019-12-16 | 2020-04-28 | 中南民族大学 | 基于可形变配准和dcnn的宫颈mri图像分割方法 |
CN113074615A (zh) * | 2021-03-31 | 2021-07-06 | 金雷科技股份公司 | 一种大型零件内锥测量装置及测量方法 |
US11477481B2 (en) | 2018-04-11 | 2022-10-18 | Interdigital Vc Holdings, Inc. | Method and device for coding the geometry of a point cloud |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023156A (zh) * | 2016-05-10 | 2016-10-12 | 中国商用飞机有限责任公司 | 基于检测特征的点云模型与cad模型的配准方法 |
-
2017
- 2017-01-22 CN CN201710052751.1A patent/CN106846382A/zh not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023156A (zh) * | 2016-05-10 | 2016-10-12 | 中国商用飞机有限责任公司 | 基于检测特征的点云模型与cad模型的配准方法 |
Non-Patent Citations (1)
Title |
---|
CANER SAHIN等: "A Learning-based Variable Size Part Extraction Architecture for 6D Object Pose Recovery in Depth", 《网页在线公开:HTTPS://ARXIV.ORG/ABS/1701.02166》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344618A (zh) * | 2018-02-08 | 2019-02-15 | 中国人民解放军陆军炮兵防空兵学院郑州校区 | 一种基于深度森林的恶意代码分类方法 |
US11477481B2 (en) | 2018-04-11 | 2022-10-18 | Interdigital Vc Holdings, Inc. | Method and device for coding the geometry of a point cloud |
US11838547B2 (en) | 2018-04-11 | 2023-12-05 | Interdigital Vc Holdings, Inc. | Method and device for encoding the geometry of a point cloud |
WO2020063475A1 (zh) * | 2018-09-25 | 2020-04-02 | 清华大学 | 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置 |
US11200696B2 (en) | 2018-09-25 | 2021-12-14 | Tsinghua University | Method and apparatus for training 6D pose estimation network based on deep learning iterative matching |
CN111080658A (zh) * | 2019-12-16 | 2020-04-28 | 中南民族大学 | 基于可形变配准和dcnn的宫颈mri图像分割方法 |
CN113074615A (zh) * | 2021-03-31 | 2021-07-06 | 金雷科技股份公司 | 一种大型零件内锥测量装置及测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106682598B (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
CN109829398B (zh) | 一种基于三维卷积网络的视频中的目标检测方法 | |
CN106846382A (zh) | 一种基于直方图控制点的图像配准目标检测方法 | |
US7940985B2 (en) | Salient object detection | |
Saavedra et al. | An improved histogram of edge local orientations for sketch-based image retrieval | |
EP2249311A1 (en) | Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features | |
Sukanya et al. | A survey on object recognition methods | |
Hormese et al. | Automated road extraction from high resolution satellite images | |
CN104850822B (zh) | 基于多特征融合的简单背景下的叶片识别方法 | |
CN103927511A (zh) | 基于差异特征描述的图像识别方法 | |
CN103942535B (zh) | 多目标跟踪方法及装置 | |
CN105809113B (zh) | 三维人脸识别方法及应用其的数据处理装置 | |
EP2054835B1 (en) | Target orientation | |
Khan et al. | A customized Gabor filter for unsupervised color image segmentation | |
Swadzba et al. | Indoor scene classification using combined 3D and gist features | |
Zelener et al. | Cnn-based object segmentation in urban lidar with missing points | |
CN105488541A (zh) | 增强现实系统中基于机器学习的自然特征点识别方法 | |
CN109712149A (zh) | 一种基于小波能量和模糊c均值的图像分割方法 | |
CN114358133B (zh) | 一种基于语义辅助双目视觉slam检测回环帧的方法 | |
CN113723425B (zh) | 一种飞机型号识别方法、装置、存储介质及设备 | |
Patel et al. | Adaboosted extra trees classifier for object-based multispectral image classification of urban fringe area | |
Ataş | Performance Evaluation of Jaccard-Dice Coefficient on Building Segmentation from High Resolution Satellite Images | |
CN104050486B (zh) | 基于图和Wishart距离的极化SAR图像分类方法 | |
Al-Temeemy et al. | Chromatic methodology for laser detection and ranging (LADAR) image description | |
CN113591704B (zh) | 体重指数估计模型训练方法、装置和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20170613 |