CN110458128A - 一种姿态特征获取方法、装置、设备及存储介质 - Google Patents

一种姿态特征获取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110458128A
CN110458128A CN201910758721.1A CN201910758721A CN110458128A CN 110458128 A CN110458128 A CN 110458128A CN 201910758721 A CN201910758721 A CN 201910758721A CN 110458128 A CN110458128 A CN 110458128A
Authority
CN
China
Prior art keywords
feature
road conditions
component
generates
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910758721.1A
Other languages
English (en)
Inventor
倪浩敏
黄国恒
萧堪鸿
彭玉翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910758721.1A priority Critical patent/CN110458128A/zh
Publication of CN110458128A publication Critical patent/CN110458128A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种姿态特征获取方法、装置、设备及存储介质。该方法的步骤包括:获取路况图像,对路况图像进行卷积运算,生成第一特征图;对第一特征图进行卷积运算生成多个尺寸的第二特征图;在各第二特征图中标记锚框,并分别将各第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量;根据各旋转特征分量生成旋转估计;分别对各第二特征图进行反卷积运算,生成相应的平移特征分量;根据各平移特征分量生成平移估计。本方法能够相对提高对于物体姿态估计结果的准确性,进而确保了后续应用时的可用性。此外,本发明还提供一种姿态特征获取装置、设备及存储介质,有益效果同上所述。

Description

一种姿态特征获取方法、装置、设备及存储介质
技术领域
本发明涉及深度学习领域,特别是涉及一种姿态特征获取方法、装置、设备及存储介质。
背景技术
检测物体的姿态特征在机器人视觉、自动驾驶、动作跟踪和单照相机定标等很多领域中都有着广泛的应用。
以自动驾驶为例,当自动驾驶的车辆在道路上行驶时,需要检测其他车辆的位置以及姿态特征,当检测到其他车辆的姿态特征存在向自身方向行驶的趋势时,需要计算一定的规避路线进行行驶,以避免与其它车辆的碰撞,将损失降到最低。
当前对于图像中物体的姿态特征获取方式对于尺寸过大或过小的物体的分析效果较差,如果图片中出现十分大或十分小的物体,算法的精确性将大大降低,尺寸小的物体在卷积的过程中可能损失了大部分特征信息,尺寸大的物体卷积后并没有得到很好的提取,因此会对物理姿态估计结果的准确性以及后续应用时的可用性造成一定的影响。
由此可见,提供一种姿态特征获取方法,以相对提高对于物体姿态估计结果的准确性,进而确保后续应用时的可用性,是本领域技术人员需要解决的问题。
发明内容
本发明的目的是提供一种姿态特征获取方法、装置、设备及存储介质,以相对提高对于物体姿态估计结果的准确性,进而确保后续应用时的可用性。
为解决上述技术问题,本发明提供一种姿态特征获取方法,包括:
获取路况图像,对路况图像进行卷积运算,生成第一特征图;
对第一特征图进行卷积运算生成多个尺寸的第二特征图;
根据路况图像中物体所在的区域在各第二特征图中标记锚框,并分别将各第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量;
根据各旋转特征分量生成路况图像中物体的旋转估计;
分别对各第二特征图进行反卷积运算,生成相应的平移特征分量;
根据各平移特征分量生成路况图像中物体的平移估计。
优选的,对路况图像进行卷积运算,生成第一特征图,包括:
通过VGG16网络对路况图像进行卷积运算,生成第一特征图。
优选的,在各第二特征图中标记锚框,包括:
利用RPN网络根据路况图像中物体所在的区域在各第二特征图中标记锚框。
优选的,对第一特征图进行卷积运算生成多个尺寸的第二特征图,包括:
对第一特征图进行卷积运算生成三个尺寸的第二特征图。
优选的,根据各旋转特征分量生成路况图像中物体的旋转估计,包括:
将各旋转特征分量加权统计生成旋转估计;
根据各平移特征分量生成路况图像中物体的平移估计,包括:
将各平移特征分量加权统计生成平移估计。
此外,本发明还提供一种姿态特征获取装置,包括:
第一卷积模块,用于获取路况图像,对路况图像进行卷积运算,生成第一特征图;
第二卷积模块,用于对第一特征图进行卷积运算生成多个尺寸的第二特征图;
旋转分量计算模块,用于根据路况图像中物体所在的区域在各第二特征图中标记锚框,并分别将各第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量;
旋转分量统计模块,用于根据各旋转特征分量生成路况图像中物体的旋转估计;
平移分量计算模块,用于分别对各第二特征图进行反卷积运算,生成相应的平移特征分量;
平移分量统计模块,用于根据各平移特征分量生成路况图像中物体的平移估计。
此外,本发明还提供一种姿态特征获取设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的姿态特征获取方法的步骤。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的姿态特征获取方法的步骤。
本发明所提供的姿态特征获取方法,首先获取路况图像,并对路况图像进行卷积运算,生成第一特征图,进而对第一路况图像进行卷积运算生成多个尺寸的第二特征图,对各第二特征图标记锚框,并分别将各第二特征图中锚框内的图像内容分别输入至全连接层,生成相应的旋转特征分量,进而根据各旋转特征分量生成旋转估计;此外,对各第二特征图分别进行反卷积运算,生成相应的平移特征分量,进而根据各平移特征分量生成平移估计。由于本方法基于对路况图像卷积运算生成的第一特征图进一步生成了多个不同尺寸的第二特征图,而各个第二特征图共同对第一特征图中的特征进行了不同细节层次的描绘,具有全面性,并且最终的旋转估计以及平移估计均是由各第二特征图共同产生的,因此能够相对提高对于物体姿态估计结果的准确性,进而确保了后续应用时的可用性。此外,本发明还提供一种姿态特征获取装置、设备及存储介质,有益效果同上所述。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种姿态特征获取方法的流程图;
图2为本发明实施例提供的一种姿态特征获取装置的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本发明保护范围。
当前对于图像中物体的姿态特征获取方式对于尺寸过大或过小的物体的分析效果较差,如果图片中出现十分大或十分小的物体,算法的精确性将大大降低,尺寸小的物体在卷积的过程中可能损失了大部分特征信息,尺寸大的物体卷积后并没有得到很好的提取,因此会对物理姿态估计结果的准确性以及后续应用时的可用性造成一定的影响。
为此,本发明的核心是提供一种姿态特征获取方法以相对提高对于物体姿态估计结果的准确性,进而确保后续应用时的可用性。此外,本发明还提供一种姿态特征获取装置、设备及存储介质。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。
图1为本发明实施例提供的一种姿态特征获取方法的流程图。请参考图1,姿态特征获取方法的具体步骤包括:
步骤S10:获取路况图像,对路况图像进行卷积运算,生成第一特征图。
需要说明的是,本步骤中的路况图像指的是进行姿态特征获取的对象,在路况图像中应存在相应具有姿态变化趋势的物体,如车辆、行人等,对路况图像进行卷积运算的目的是对路况图像中的特征内容进行提取,进而生成记录有路况图像中特征内容的特征图像,即第一特征图,特征图像(image features)主要记录有路况图像的颜色特征、纹理特征、形状特征和空间关系特征。
颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。
纹理特征也是一种全局特征,它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性,并不能完全反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。
形状特征有两类表示方法,一类是轮廓特征,另一类是区域特征。图像的轮廓特征主要针对物体的外边界,而图像的区域特征则关系到整个形状区域。
所谓空间关系特征,是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系,这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。通常空间位置信息可以分为两类:相对空间位置信息和绝对空间位置信息。前一种关系强调的是目标之间的相对情况,如上下左右关系等,后一种关系强调的是目标之间的距离大小以及方位。
步骤S11:对第一特征图进行卷积运算生成多个尺寸的第二特征图。
需要说明的是,本步骤的重点在于生成第一特征图后,进一步对第一特征图进行卷积运算,生成多个尺寸的第二特征图,由于第二特征图是基于第一特征图进一步进行特征提取生成的,因此记录的是第一特征图中的特征,由于多个第二特征图的尺寸各不相同,因此对于第一特征图中特征提取的细致性以及全面性也各不相同,尺寸较小的第二特征图中特征的全面性较高,而尺寸较大的第二特征图中特征的细致程度较高。
步骤S12:根据路况图像中物体所在的区域在各第二特征图中标记锚框,并分别将各第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量。
步骤S13:根据各旋转特征分量生成路况图像中物体的旋转估计。
步骤S14:分别对各第二特征图进行反卷积运算,生成相应的平移特征分量。
步骤S15:根据各平移特征分量生成路况图像中物体的平移估计。
上述的步骤S12至步骤S13的重点是根据各第二特征图共同计算路况图像中物体的旋转估计,上述的步骤S13至步骤S14的重点是根据各第二特征图共同计算路况图像中物体的平移估计,根据平移估计以及旋转估计能够共同获悉物体的运动姿态。
另外,上述对于旋转估计以及平移估计的计算的顺序无先后,可以根据实际场景而定,在此不做具体限定。
本发明所提供的姿态特征获取方法,首先获取路况图像,并对路况图像进行卷积运算,生成第一特征图,进而对第一路况图像进行卷积运算生成多个尺寸的第二特征图,对各第二特征图标记锚框,并分别将各第二特征图中锚框内的图像内容分别输入至全连接层,生成相应的旋转特征分量,进而根据各旋转特征分量生成旋转估计;此外,对各第二特征图分别进行反卷积运算,生成相应的平移特征分量,进而根据各平移特征分量生成平移估计。由于本方法基于对路况图像卷积运算生成的第一特征图进一步生成了多个不同尺寸的第二特征图,而各个第二特征图共同对第一特征图中的特征进行了不同细节层次的描绘,具有全面性,并且最终的旋转估计以及平移估计均是由各第二特征图共同产生的,因此能够相对提高对于物体姿态估计结果的准确性,进而确保了后续应用时的可用性。
在上述实施例的基础上,本发明还提供如下一系列优选的实施方式。
作为一种优选的实施方式,对路况图像进行卷积运算,生成第一特征图,包括:
通过VGG16网络对路况图像进行卷积运算,生成第一特征图。
需要说明的是,VGG16网络是拥有16层的网络模型,其作为基础网络,分类性能非常好,并且VGG16的网络结构规整,对于网络的修改相对容易,由于较高的可扩展性,能够相对提高第一特征图生成的准确性。
作为一种优选的实施方式,在各第二特征图中标记锚框,包括:
利用RPN网络根据路况图像中物体所在的区域在各第二特征图中标记锚框。
需要说明的是,RPN的本质是基于滑窗的无类别object检测器,能够相对准确的在图像中标记出物体所在的区域,进而能够相对提高对于物体姿态特征获取的准确性。
作为一种优选的实施方式,对第一特征图进行卷积运算生成多个尺寸的第二特征图,包括:
对第一特征图进行卷积运算生成三个尺寸的第二特征图。
需要说明的是,本实施方式中第二特征图的尺寸可以分为三类,三类特征图之间的尺寸关系即为大尺寸特征图、中尺寸特征图以及小尺寸特征图,能够相对在覆盖不同尺寸特征图的同时,相对减少参与计算的第二特征图的数量,相对确保姿态特征的计算准确性的同时,提高了整体的计算效率。
作为一种优选的实施方式,根据各旋转特征分量生成旋转估计,包括:
将各旋转特征分量加权统计生成旋转估计;
根据各平移特征分量生成平移估计,包括:
将各平移特征分量加权统计生成平移估计。
需要说明的是,本实施方式的重点在于,在根据不同第二特征图对应的旋转特征分量计算旋转估计时,以及在根据不同第二特征图对应的平移特征分量计算平移估计时,均以加权统计的方式计算,因此可以根据各第二特征图之间的重要程度,在计算旋转估计以及平移估计时对相应第二特征图的旋转特征分量以及平移特征分量设置对应的权重值,以此进一步提高姿态特征获取的整体准确性。
为了进一步加深对于上述实施例的理解,本发明还提供一种实际场景下的场景实施例。
1、将包含有车辆以及行人等障碍物体的路况图像输入到卷积神经网络,这里我们采用vgg16网络。我们把图片处理成800×1200×3的大小,然后使其通过64个3×3×3的卷积核,2×2的最大池化操作,得到64个400×600的特征图I。接着通过128个3×3×64的卷积核,2×2的最大池化操作,生成128个200×300的特征图Ⅱ。接着特征图Ⅱ先通过256个3×3×128的卷积核,2×2的最大池化操作得到256个56×56的特征图Ⅲ。特征图Ⅲ通过512个3×3×256的卷积核,2×2的最大池化操作得到512个50×100的特征图Ⅳ。
2、将特征图Ⅳ送入到RPN网络。首先我们对特征图Ⅳ再次进行卷积产生特征金字塔,即大中小不同尺度的特征图,不同尺度的特征图使得每个物体都有几个不同的尺寸,但总有一个尺寸在指定的尺寸范围内。我们在特征金字塔上对每个像素产生一系列不同面积,不同长宽比的锚框,每个像素点产生锚框k个。在这些特征图上,我们将特征图周围填充一个像素,通过一个3×3的滑动窗口,步长为1,得到每个像素上2k个分类得分与4k个锚框偏移。需要注意的是,每个3×3的滑动窗口,我们让它来自k个不同原始区域的池化,但是这些池化在原始图片中的中心点是一样的。在训练过程中,我们给每个锚框分配一个二进制的标签,即背景与前景。两种情况下我们认为某个锚框的标签是前景:该锚框与某个物体样本的交并比超过0.7的阈值;如果某个物体样本与所有的锚框的交并比都没有超过该阈值,我们将与物体样本交并比最大的锚框分配为前景。同时,我们设置一个像素区间[a,b],对个分配为前景背景的锚框进行筛选,将像素大小处在区间[a,b]的锚框设置为有效锚框,参与损失计算,将在此次训练中回传梯度,其余的锚框则不做计算。通过生成特征金字塔以及设置区间筛选锚框,我们能够有效地检测出不同尺度的物体。
3、将步骤2生成的大中小尺度的特征图分别进行反卷积操作。我们的网络首先使用两个卷积层将各个特征图的通道数减少到64,再用数个反卷积层将分辨率提高到与800×1200,得到具有原始图像尺寸的特征图。最后用一个卷积层对该特征图进行操作,得到每个像素的语义标记分数,最后的特征图具有n个通道,n为我们所要标记的物体种类。在训练过程中,我们依旧利用RPN网络所生成的有效锚框进行损失计算,具体方法为,将锚框映射到原来的输入图片,得到一个感兴趣区域,我们在进行语义分割的损失计算时,不对每个像素进行计算,而只针对感兴趣区域进行计算,这样做可以进一步提高网络对多尺度物体的敏感性。
4、同样将步骤2生成的大中小尺度的特征图分别进行反卷积操作,得到通道数为3的具有原始图像尺寸的特征图。我们利用这样的网络回归图像中每个像素的中心方向。
为了得到物体的平移估计T=(Tx,Ty,Tz)T,我们假设c=(cx,cy)T为中心点,对于图像上的像素p=(x,y)T,它回归到三个变量:
为了得到物体的中心点,我们利用霍夫投票计算图像中每个位置的投票分数,选择得分最高的点作为中心点。然后我们根据如下公式计算Tx跟Ty
其中fx与fy为拍摄路况图的摄像头焦距,(px,py)T为摄像头主点。即可得到物体的平移估计T=(Tx,Ty,Tz)T。训练过程中,依旧只针对有效锚框映射回原图的感兴趣区域进行损失计算。
5、我们使用RPN网络的锚框,对锚框所在的特征图上进行裁剪,得到物体所具有特征。利用2个4096大小的全连接层,然后再经过384大小的全连接层,最后将其转化成大小为4×n的全连接层用来预测其旋转估计,其中n是对象类的数量。对于每个类,最后一个全连接层输出由四元数表示的旋转估计。
图2为本发明实施例提供的一种姿态特征获取装置的结构图。本发明实施例提供的姿态特征获取装置,包括:
第一卷积模块10,用于获取路况图像,对路况图像进行卷积运算,生成第一特征图;
第二卷积模块11,用于对第一特征图进行卷积运算生成多个尺寸的第二特征图;
旋转分量计算模块12,用于根据路况图像中物体所在的区域在各第二特征图中标记锚框,并分别将各第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量;
旋转分量统计模块13,用于根据各旋转特征分量生成路况图像中物体的旋转估计;
平移分量计算模块14,用于分别对各第二特征图进行反卷积运算,生成相应的平移特征分量;
平移分量统计模块15,用于根据各平移特征分量生成路况图像中物体的平移估计。
本发明所提供的姿态特征获取装置,首先获取路况图像,并对路况图像进行卷积运算,生成第一特征图,进而对第一路况图像进行卷积运算生成多个尺寸的第二特征图,对各第二特征图标记锚框,并分别将各第二特征图中锚框内的图像内容分别输入至全连接层,生成相应的旋转特征分量,进而根据各旋转特征分量生成旋转估计;此外,对各第二特征图分别进行反卷积运算,生成相应的平移特征分量,进而根据各平移特征分量生成平移估计。由于本装置基于对路况图像卷积运算生成的第一特征图进一步生成了多个不同尺寸的第二特征图,而各个第二特征图共同对第一特征图中的特征进行了不同细节层次的描绘,具有全面性,并且最终的旋转估计以及平移估计均是由各第二特征图共同产生的,因此能够相对提高对于物体姿态估计结果的准确性,进而确保了后续应用时的可用性。
此外,本发明还提供一种姿态特征获取设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时实现如上述的姿态特征获取方法的步骤。
本发明所提供的姿态特征获取设备,首先获取路况图像,并对路况图像进行卷积运算,生成第一特征图,进而对第一路况图像进行卷积运算生成多个尺寸的第二特征图,对各第二特征图标记锚框,并分别将各第二特征图中锚框内的图像内容分别输入至全连接层,生成相应的旋转特征分量,进而根据各旋转特征分量生成旋转估计;此外,对各第二特征图分别进行反卷积运算,生成相应的平移特征分量,进而根据各平移特征分量生成平移估计。由于本设备基于对路况图像卷积运算生成的第一特征图进一步生成了多个不同尺寸的第二特征图,而各个第二特征图共同对第一特征图中的特征进行了不同细节层次的描绘,具有全面性,并且最终的旋转估计以及平移估计均是由各第二特征图共同产生的,因此能够相对提高对于物体姿态估计结果的准确性,进而确保了后续应用时的可用性。
此外,本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述的姿态特征获取方法的步骤。
本发明所提供的计算机可读存储介质,首先获取路况图像,并对路况图像进行卷积运算,生成第一特征图,进而对第一路况图像进行卷积运算生成多个尺寸的第二特征图,对各第二特征图标记锚框,并分别将各第二特征图中锚框内的图像内容分别输入至全连接层,生成相应的旋转特征分量,进而根据各旋转特征分量生成旋转估计;此外,对各第二特征图分别进行反卷积运算,生成相应的平移特征分量,进而根据各平移特征分量生成平移估计。由于本计算机可读存储介质基于对路况图像卷积运算生成的第一特征图进一步生成了多个不同尺寸的第二特征图,而各个第二特征图共同对第一特征图中的特征进行了不同细节层次的描绘,具有全面性,并且最终的旋转估计以及平移估计均是由各第二特征图共同产生的,因此能够相对提高对于物体姿态估计结果的准确性,进而确保了后续应用时的可用性。
以上对本发明所提供的一种姿态特征获取方法、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种姿态特征获取方法,其特征在于,包括:
获取路况图像,对所述路况图像进行卷积运算,生成第一特征图;
对所述第一特征图进行卷积运算生成多个尺寸的第二特征图;
根据所述路况图像中物体所在的区域在各所述第二特征图中标记锚框,并分别将各所述第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量;
根据各所述旋转特征分量生成所述路况图像中物体的旋转估计;
分别对各所述第二特征图进行反卷积运算,生成相应的平移特征分量;
根据各所述平移特征分量生成所述路况图像中物体的平移估计。
2.根据权利要求1所述的姿态特征获取方法,其特征在于,所述对所述路况图像进行卷积运算,生成第一特征图,包括:
通过VGG16网络对所述路况图像进行卷积运算,生成所述第一特征图。
3.根据权利要求1所述的姿态特征获取方法,其特征在于,所述根据所述路况图像中物体所在的区域在各所述第二特征图中标记锚框,包括:
利用RPN网络根据所述路况图像中物体所在的区域在各所述第二特征图中标记锚框。
4.根据权利要求1所述的姿态特征获取方法,其特征在于,所述对所述第一特征图进行卷积运算生成多个尺寸的第二特征图,包括:
对所述第一特征图进行卷积运算生成三个尺寸的第二特征图。
5.根据权利要求1至4任意一项所述的姿态特征获取方法,其特征在于,所述根据各所述旋转特征分量生成所述路况图像中物体的旋转估计,包括:
将各所述旋转特征分量加权统计生成所述旋转估计;
所述根据各所述平移特征分量生成所述路况图像中物体的平移估计,包括:
将各所述平移特征分量加权统计生成所述平移估计。
6.一种姿态特征获取装置,其特征在于,包括:
第一卷积模块,用于获取路况图像,对所述路况图像进行卷积运算,生成第一特征图;
第二卷积模块,用于对所述第一特征图进行卷积运算生成多个尺寸的第二特征图;
旋转分量计算模块,用于根据所述路况图像中物体所在的区域在各所述第二特征图中标记锚框,并分别将各所述第二特征图对应锚框内的图像内容输入至全连接层,生成相应的旋转特征分量;
旋转分量统计模块,用于根据各所述旋转特征分量生成所述路况图像中物体的旋转估计;
平移分量计算模块,用于分别对各所述第二特征图进行反卷积运算,生成相应的平移特征分量;
平移分量统计模块,用于根据各所述平移特征分量生成所述路况图像中物体的平移估计。
7.一种姿态特征获取设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任一项所述的姿态特征获取方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的姿态特征获取方法的步骤。
CN201910758721.1A 2019-08-16 2019-08-16 一种姿态特征获取方法、装置、设备及存储介质 Pending CN110458128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910758721.1A CN110458128A (zh) 2019-08-16 2019-08-16 一种姿态特征获取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910758721.1A CN110458128A (zh) 2019-08-16 2019-08-16 一种姿态特征获取方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110458128A true CN110458128A (zh) 2019-11-15

Family

ID=68487266

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910758721.1A Pending CN110458128A (zh) 2019-08-16 2019-08-16 一种姿态特征获取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110458128A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113139424A (zh) * 2021-03-09 2021-07-20 杭州电子科技大学 面向人体高保真视觉内容的多特征协同生成系统及方法
CN113204661A (zh) * 2021-07-06 2021-08-03 禾多科技(北京)有限公司 实时路况更新方法、电子设备和计算机可读介质
CN114779942A (zh) * 2022-05-23 2022-07-22 广州芸荟数字软件有限公司 一种虚拟现实沉浸式互动系统、设备及方法
WO2022178952A1 (zh) * 2021-02-25 2022-09-01 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN115091469A (zh) * 2022-08-05 2022-09-23 广东工业大学 一种基于最大熵框架的深度强化学习机械臂运动规划方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084175A (zh) * 2019-04-23 2019-08-02 普联技术有限公司 一种目标检测方法、目标检测装置及电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084175A (zh) * 2019-04-23 2019-08-02 普联技术有限公司 一种目标检测方法、目标检测装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WADIM KEHL,ET.AL: "SSD-6D: Making RGB-based 3D detection and 6D pose estimation great again", 《IN IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION(ICCV)》 *
XIANG, Y.,ET.AL: "Posecnn: A convolutional neural network for 6d object pose estimation in cluttered scenes", 《ARXIV PREPRINT ARXIV:1711.00199》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022178952A1 (zh) * 2021-02-25 2022-09-01 湖南大学 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN113139424A (zh) * 2021-03-09 2021-07-20 杭州电子科技大学 面向人体高保真视觉内容的多特征协同生成系统及方法
CN113204661A (zh) * 2021-07-06 2021-08-03 禾多科技(北京)有限公司 实时路况更新方法、电子设备和计算机可读介质
CN113204661B (zh) * 2021-07-06 2021-09-21 禾多科技(北京)有限公司 实时路况更新方法、电子设备和计算机可读介质
CN114779942A (zh) * 2022-05-23 2022-07-22 广州芸荟数字软件有限公司 一种虚拟现实沉浸式互动系统、设备及方法
CN115091469A (zh) * 2022-08-05 2022-09-23 广东工业大学 一种基于最大熵框架的深度强化学习机械臂运动规划方法

Similar Documents

Publication Publication Date Title
CN110458128A (zh) 一种姿态特征获取方法、装置、设备及存储介质
CN108596101B (zh) 一种基于卷积神经网络的遥感图像多目标检测方法
CN106127204B (zh) 一种全卷积神经网络的多方向水表读数区域检测算法
CN110287826B (zh) 一种基于注意力机制的视频目标检测方法
CN110276269A (zh) 一种基于注意力机制的遥感图像目标检测方法
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
CN108875600A (zh) 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质
CN107204010A (zh) 一种单目图像深度估计方法与系统
CN108564120B (zh) 基于深度神经网络的特征点提取方法
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
CN106780546B (zh) 基于卷积神经网络的运动模糊编码点的身份识别方法
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN107203754A (zh) 一种基于深度学习的车牌定位方法及装置
CN106981080A (zh) 基于红外图像和雷达数据的夜间无人车场景深度估计方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN107481279A (zh) 一种单目视频深度图计算方法
CN110472542A (zh) 一种基于深度学习的红外图像行人检测方法及检测系统
CN107808129A (zh) 一种基于单个卷积神经网络的面部多特征点定位方法
CN106469304A (zh) 基于深度卷积神经网络的票据中手写签名位置定位方法
CN103971399A (zh) 街景图像过渡方法和装置
CN106570874A (zh) 一种结合图像局部约束与对象全局约束的图像标记方法
CN108648194A (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN105224935A (zh) 一种基于Android平台的实时人脸关键点定位方法
CN103761747B (zh) 一种基于加权分布场的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191115