CN113362370B - 目标对象的运动信息确定方法、装置、介质及终端 - Google Patents
目标对象的运动信息确定方法、装置、介质及终端 Download PDFInfo
- Publication number
- CN113362370B CN113362370B CN202110906967.6A CN202110906967A CN113362370B CN 113362370 B CN113362370 B CN 113362370B CN 202110906967 A CN202110906967 A CN 202110906967A CN 113362370 B CN113362370 B CN 113362370B
- Authority
- CN
- China
- Prior art keywords
- target object
- data set
- frame
- ith
- jth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 230000008859 change Effects 0.000 claims abstract description 44
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000006073 displacement reaction Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000523 sample Substances 0.000 description 22
- 241000283973 Oryctolagus cuniculus Species 0.000 description 18
- 238000010801 machine learning Methods 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000013145 classification model Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 240000007711 Peperomia pellucida Species 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及计算机视觉技术领域,具体而言,涉及一种目标对象的运动信息确定方法、目标对象的运动信息确定装置、计算机可读介质及终端。该方法包括:从N帧探测数据中确定出目标对象,N为正整数;获取第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;将第i数据集和第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息;根据相对位置信息确定目标对象的运动信息。本申请技术方案能够提高目标对象的运动信息的精准度。
Description
技术领域
本申请涉及计算机视觉技术领域,具体而言,涉及一种目标对象的运动信息确定方法、目标对象的运动信息确定装置、计算机可读介质及终端。
背景技术
在使用激光雷达或深度相机对目标进行测绘的过程中,常常需要对点云中的运动目标进行一个运动测算和确定,以获得目标对象的运动特征进而对目标的运动意图或者运动影响进行评估。
然而,相关技术所提供的目标对象的运动信息确定方案的误差较大,因此,目标对象的运动信息确定方案的精准度有待提升。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请实施例的目的在于提供一种目标对象的运动信息确定方法、目标对象的运动信息确定装置、计算机可读介质及终端。能够在一定程度上提升确定目标对象的运动信息的精准度。
本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面,提供了一种目标对象的运动信息确定方法,包括:从N帧探测数据中确定出目标对象,N为正整数;获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;根据上述相对位置信息确定上述目标对象的运动信息。
根据本申请实施例的另一个方面,提供了一种目标对象的运动信息确定装置,包括:目标对象确定模块,用于:从N帧探测数据中确定出目标对象,N为正整数;数据集获取模块,用于:获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;匹配模块,用于:将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;运动信息确定模块,用于:根据上述相对位置信息确定上述目标对象的运动信息。
根据本申请实施例的再一个方面,提供了一种计算机可读介质,其上存储有计算机程序,上述程序被处理器执行时实现如上述实施例中所述的目标对象的运动信息确定方法。
根据本申请实施例的又一个方面,提供了一种终端,包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述实施例中所述的目标对象的运动信息确定方法。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请的一些实施例所提供的技术方案中,从N帧探测数据中确定出目标对象。然后,获取第i帧中该目标对象对应的第i数据集,以及获取第j帧中该目标对象对应的第j数据集。进一步地,将上述第i数据集和上述第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。相较于反映某一点或某些点的相对位置信息,上述相对位置信息能更准确的反映目标对象的实际运动情况,从而有利于获得更准确的目标位置观测值,进而根据本申请技术方案确定的目标对象的运动信息具有较高的精准度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出了根据本申请一示例性的实施例中目标对象的运动信息确定方法的流程图。
图2示意性示出了根据本申请示例性的实施例中目标对象的确定方法的流程图。
图3示意性示出了根据本申请示例性的实施例中关于同一目标对象的帧间数据集比较图。
图4示意性示出了根据本申请另一示例性的实施例中目标对象的运动信息确定方法的流程图。
图5示出了根据本申请示例性的实施例中关于同一目标对象的帧间数据集相对变化图。
图6示意性示出了根据本申请一示例性的实施例中相对位置信息的确定方法的流程图。
图7示意性示出了根据一示例性的实施例中目标对象的运动信息确定装置的结构图。
图8示意性示出了根据另一示例性的实施例中目标对象的运动信息确定装置的结构图。
图9示意性示出了适于用来实现上述目标对象的运动信息确定方法的终端的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。此外,在本申请的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本技术方案可以应用于激光雷达、深度相机等点云传感器进行测绘检测的相关领域,如自动驾驶障碍物检测、点云测绘,以及人体姿态检测等方面。
示例性的,在自动驾驶过程中一般通过传感器获取车辆周边的目标对象的运动信息(如,运动速度信息以及方向等),进一步的,根据所获取的目标对象的运动信息来规划该车辆的行驶路径以及行驶速度等信息。
在现有的目标对象的运动信息确定方案中,对于相关技术中的第一种方案,即通过毫米波雷达等直接检测目标对象的运动速度信息的方案。其相关雷达对目标对象的测距、角分辨率并不高,导致对目标对象的位置特征和形体特征均不能进行准确描述。也就是说,该现有方案以牺牲对目标其他属性特征的检测性能,获得对目标对象的速度等运动信息的直接测算能力。因此,该方案确定的运动信息的精准度不高。
在上述相关技术中的第二种方案中,常被应用于激光雷达、深度相机等无法对目标进行多普勒测算的传感器中,如激光雷达可以获得目标的准确位置,根据位置和帧间时间差来获得目标速度的估算。
具体地,通过激光雷达或深度相机等点云传感器对目标对象在不同帧(即不同时刻下)的位置观测,并选取点云的某个特征点(如,点云的重心点、点云的最近点、点云计算一个边界框的角点,或者几何中心点等)作为该目标的位置参考点,进而由该位置参考点的位置变化和帧间时间差来估算目标对象整体的运动信息。
然而实际的点云观测目标可能具有较大体积(如车辆)、还有可能为形状处于变化的对象(如行人),对于该类目标对象,若按照上述方式选取位置参考点则所反映出来的位置关系,选取单一特征点作为该目标的位置表征,即内在的将该特征点的位置变化当成该目标的位置变化。则将不能表达目标对象的形状特征进行准确描述,导致目标对象的观测值与物体实际运动的位置变换偏差较大。尤其是在小周期内的情况下(即,帧间时间间隔较短的情况下,如常见激光雷达帧间间隔为50ms~100ms),上述位置预估误差则会被加倍放大。
因此,该方案确定的运动信息的精准度也有待提高。
针对上述相关技术中存在的技术问题,本申请所提供的技术方案能够减少确定目标对象的运动信息的误差,进而提升精准度。
下面将结合附图1-附图5,对本申请实施例提供的目标对象的运动信息确定方法进行详细介绍。其中,图1示意性示出了根据本申请一示例性的实施例中目标对象的运动信息确定方法的流程图。参考图1,该方法包括以下步骤:
S110,从N帧探测数据中确定出目标对象,N为正整数;
S120,获取第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;
S130,将第i数据集和第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息;以及,
S140,根据相对位置信息确定目标对象的运动信息。
图1所示实施例所提供的技术方案中,针对同一目标对象(例如,车辆在智能驾驶过程中的障碍物等),获取在一帧探测数据中该目标对象对应的数据集,以及获取另一帧探测数据中该目标对象对应的另一数据集。进一步地,将上述两帧探测数据分别对应的数据集进行匹配计算,得到能够反映上述目标对象整体上位置变化的相对位置信息。而相关技术中所确定的是反映某一点或某些点(如,点云的重心点、点云的最近点、点云计算一个边界框的角点,或者几何中心点等)的位置变化的信息。相较于相关技术直接相关点作为该目标的位置参考点,本技术方案采用能够反映上述目标对象整体上位置变化的相对位置信息能够更为准确地反映目标对象的实际运动情况,从而本技术方案更有利于获得关于目标对象准确的位置观测值。可见,根据本申请技术方案确定的目标对象的运动信息具有较高精准度。
以下对图1所示实施例所包含的各个步骤的具体实施方式进行详细介绍:
在S110中,从N帧探测数据中确定出目标对象,N为正整数。
在示例性的实施例中,上述探测数据包括通过激光雷达扫描获取的点云数据,还可以包括深度相机采集相关周边环境的具有深度信息的图像。例如,通过设置与无人驾驶车辆的激光雷达来采集无人驾驶车辆周围的环境信息得到上述多帧点云数据,进一步地,将所采集到的多帧点云数据用于分析该无人驾驶车辆周围的障碍物的运动信息。
在示例性的实施例中,在无人驾驶场景中,上述目标对象可以是无人驾驶车辆行驶过程中的障碍物,例如是影响驾驶其他车辆、行人、建筑物等。
作为步骤S110的一种具体实施方式,在示例性的实施例中,图2示意性示出了根据本申请示例性的实施例中目标对象的确定方法的流程图。具体地,S210-S240为基于机器学习模型的方式来预测每帧探测数据中的检测目标,S250和S260为根据上述预测得到的检测目标确定上述目标对象。
参考图2,在S210中,获取包含标记信息的多帧探测数据以确定训练集和测试集,其中,标记信息包括每帧探测数据所包含的近场检测目标。
在示例性的实施例中,将一帧探测数据及其对应的标记信息作为一组样本,通过多组样本构成上述训练集/测试集。
以机械式激光雷达为例,近场识别范围是指以激光雷达为圆心识别距离为半径围成的圆的面积范围。同时,不同线束的激光雷达对应的近场范围不同,近场范围的确定可以为预先设定的。举例来说,32线的机械式激光雷达的近场识别范围可以设定为以雷达为圆心,以60米为半径所围成的圆的面积。再例如,128线的激光雷达近场识别范围可以设定为以激光雷达为圆心,以100米为半径所围成的圆的面积。示例性的,其他线束的机械式激光雷达可以设定为扫描半径为60米到100米之间。可以理解的是,上述近场检测目标是指处于近场范围内的目标对象。
示例性的,上述标记信息包括:近场包含检测目和近场不包含检测目标。如在无人驾驶场景中,上述检测目标可以是影响驾驶其他车辆、行人、建筑物等障碍物。例如,一组正样本包含探测数据S以及探测数据S的标记信息:近场包含检测目标,检测目标为行人和车辆。又例如,一组负样本包含探测数据S’以及探测数据S’的标记信息:近场不包含检测目标。
在S220中,通过训练集训练机器学习算法。
在示例性的实施例中,为了提升对检测对象的识别准确度,上述机器学习算法采用适用于探测数据处理的深度学习算法的点云分割pointnet或pointnet的升级版pointnet++等。
在S230中,通过测试集对训练过程中的机器学习分类模型进行测试,并将满足预设评价指标的机器学习分类模型确定为目标识别模型。
在示例性的实施例中,可以通过以下模型评价指标中的一种或多种:准确率、召回率和接收者操作特征曲线(receiver operating characteristic curve,简称:ROC)下面积AUC(一种模型评价指标,具体用于评估模型的预测价值;是Area Under Curve的简称)对上述机器学习分类模型进行评价。并将满足预算评价条件的机器学习分类模型确定为目标识别模型,并用于进行目标对象的识别。
在S240中,将第k(k取值为1,2,…,N)帧探测数据输入至训练后的目标识别模型,并根据该目标识别模型的输出确定第k帧探测数据中的检测目标。
在示例性的实施例中,对于上述N帧探测数据,分别输入至上述目标识别模型中,经过训练后的机器学习算法处理之后,可以输出当前输入至模型中的探测数据中是否包含检测目标。示例性的,第1帧探测数据被输入上述目标识别模型后,该模型对第1帧探测数据的预测结果为“近场不包含检测目标”。第10帧探测数据被输入上述目标识别模型后,该模型对第10帧探测数据的预测结果为“近场包含检测目标a”。第15帧探测数据被输入上述目标识别模型后,该模型对第15帧探测数据的预测结果为“近场包含检测目标a”。第20帧探测数据被输入上述目标识别模型后,该模型对第20帧探测数据的预测结果为“近场包含检测目标b”。
可见,通过S240可以获取每帧探测数据中是否包含近场检测目标,以及包含哪种检测目标。进一步地,通过S250和S260将不同帧间检测出来的检测目标进行关联匹配,以确定上述目标对象。
需要说明的是,识别探测数据中的检测目标不限于上述实施例所提供的方式。在示例性的实施例中,还可以采用点云分割聚类算法实现对探测数据中的检测目标的识别。
继续参考图2,在S250中,计算第m帧对应的检测目标与第n帧对应的检测目标之间的特征相似度。以及,在S260中,将满足预算要求的特征相似度对应的检测目标确定为目标对象。
在示例性的实施例中,上述特征相似度包括形状特征的相似度、位置特征的相似度以及反射率的相似度,m不等于n,且m、n为不大于N的正整数。示例性的,通过比对两帧探测数据中检测出来的检测目标之间的特征相似度,特征比较相似的认为是同一个目标。如,第m帧中的检测对象a,与第n帧中的检测对象a’,若检测对象a与检测对象a’之间的形状特征的相似度满足第一预设值、位置特征的相似度满足第二预设值以及反射率的相似度满足第三预设值,则说明检测对象a与检测对象a’为同一个目标,否则,检测对象a与检测对象a’则不属于同一个目标。
具体地,以检测对象a为例。计算出来检测对象a本身之外的所有检索对象分别于检测对象a之间的相似度,则得到检测对象a对应的一个相似度列表,将相似度列表中相似度值最大的检索对象确定为与检测对象a为同一目标。
继续参考图1,在S120中,获取第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集,i为小于N的正整数(i取值为1,2,3…N-1),j为大于1且不大于N的正整数(i取值为2,3…N-1,N),且i小于j。需要说明的是,“i”和“j”反映帧间前后关系,“第i帧”和“第i帧”可以是连续两帧也可以不是连续两帧。
不同于相关技术中直接将目标对象对应的某个点(如,点云的重心点、点云的最近点、点云计算一个边界框的角点,或者几何中心点等)作为该目标的位置参考点,本技术方案将采用关于同一目标对象整体的不同帧间的相对位置信息确定位置参考。由于上述相对位置信息能准确反映目标对象的实际运动情况,从而本技术方案更有利于获得关于目标对象准确的位置观测值。
为了获取上述相对位置信息,在S120中,获取不同帧中目标对象分别对应的数据集。其中,为了提升计算准确度,可以获取目标对象在相连帧中分别对应的数据集,例如,第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集。
在示例性的实施例中,图3示意性示出了根据本申请示例性的实施例中关于同一目标对象的帧间数据集比较图。参考图3,具体示出了关于该同一目标对象(兔子)的帧间数据集比较示意图。具体的,该目标对象的耳部A、背部B以及尾部C对应的数据集属于前一帧探测数据(图中以较深颜色点示出),该目标对象的耳部A’、背部B’以及尾部C’对应的数据集属于后一帧探测数据(图中以较浅颜色点示出)。可以看出,该目标对象在前后两帧的过程中进行了相对运动,以下将介绍基于上述相对运动确定该运动对象的运动信息。继续参考图1,在S130中,将第i数据集和第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。以及,在S140中,根据相对位置信息确定目标对象的运动信息。
作为步骤S130和步骤S140的一种具体实施方式,在示例性的实施例中,图4示意性示出了根据本申请另一示例性的实施例中目标对象的运动信息确定方法的流程图。参考图4,该图所示实施例包括S410-S450。
在S410中,根据第i数据集和第j数据集计算目标对象的相对位移信息和相对姿态角信息,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
其中,所述第i数据集经过所述相对位置信息的变换后与第j数据集重合度大于预设值。也就是说,上述相对位置信息能够使得经过目标对象在第i中的位置与其在第j中的位置的重合度大于预设值。
在示例性的实施例中,可以通过欧式变换求解第i数据集和第j数据集的相对位移信息和位移配准误差,以及相对姿态角信息和角度配准误差,直到位置配准误差和角度配准误差收敛,或者相对位移信息/相对姿态角信息达到预设的误差范围内,则将相对位移信息和相对姿态角信息作为反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。示例性的,上述相对位置信息可以为包括相对位移信息和相对姿态角信息的旋转平移矩阵。
基于上述相对位移信息将第i数据集进行平移,以及基于上述相对姿态角信息将平移后的第i数据集进行旋转,便能够使得第i数据集和第j数据集的重合度大于预设值。
示意性的,图5示出了根据本申请示例性的实施例中关于同一目标对象的帧间数据集相对变化图。参考图5,也就是说,在上述第i数据集和第j数据集的重合度大于预设值的情况下,前一帧中的目标对象(兔子)与后一帧中的目标对象几近重合。具体的,前一帧的耳部A与后一帧的耳部A’之间的数据集重合度大于预设值或达到最佳匹配、使得前一帧的背部B与后一帧的背部B’之间的数据集重合度大于预设值或达到最佳匹配,以及使得前一帧的尾部C与后一帧的尾部C’之间的数据集重合度大于预设值或达到最佳匹配。
在示例性的实施例中,为了进一步提高目标对象在帧间重合度,进而有利于提升确定目标对象运动信息的精准度。本技术方案还提供以下确定相对位置信息的实施例:
图6示意性示出了根据本申请一示例性的实施例中相对位置信息的确定方法的流程图。参考图6,该图所示实施例包括S610-S650。
S610,将目标对象分割处理为多个分块。
示例性的,在确定出目标对象之后,根据实际需要将目标对象分割为多个分块。其中,可以通过对同一个目标对象进行多次分割,并将每次分割后进行下述计算过程,并将帧间目标重复度最大时对应的分割方式作为最终的分割方式。其中,可以理解的是,所述分块的大小还与设置的精度要求有关,可以根据精度要求,进行数据分块的调整。举例来说,精度要求越高拆分的数据块越小,当精度要求足够高的时候,甚至可以拆分到每个数据点(若为点云数据则为点云中的每个点)。
S620,对于每个分块,获取第i帧中对应的第i子数据集,以及获取第j帧中对应的第j子数据集。
示例性的,将图5中的目标对象(兔子)分割为三分块,则:对于第一分块,获取其在第i帧中的第i1子数据集,以及获取其在第j帧中的第j1子数据集;对于第二分块,获取其在第i帧中的第i2子数据集,以及获取其在第j帧中的第j2子数据集;对于第三分块,获取其在第i帧中的第i3子数据集,以及获取其在第j帧中的第j3子数据集。
S630,对于每个分块,将第i子数据集和第j子数据集进行匹配计算,得到每个分块对应的相对位移及重合度信息。
仍以上述实施例为例,对于第一分块,将第i1子数据集和第j1子数据集进行匹配计算,得到关于第一分块的重合度信息;对于第二分块,将第i2子数据集和第j2子数据集进行匹配计算,得到关于第二分块的重合度信息;对于第三分块,将第i3子数据集和第j3子数据集进行匹配计算,得到关于第三分块的重合度信息。其中,匹配计算的具体实施方式可以参考上述实施例。
S640,将多个重合度中最大值对应的分块确定为第一目标分块。
S650,将根据第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵确定为反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
示例性的,假如关于第二分块的重合度的值最大,则将第二分块确定为第一目标分块。进一步地,将根据第一目标分块对应的第i2子数据集和第j2子数据集确定的旋转位移矩阵,确定为反映目标对象(兔子整体)在帧间位置变化的相对位置信息。
示例性的,在本申请一种可选的实施例中,S640还可以为:获取每个分块对应的重合度信息,将所述重合度信息大于预设值的分块整合为第一目标分块。其中,S650还可以为:将根据第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵确定为反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
其中,仍以上述实施例为例,若将图5中的目标对象(兔子)分割为三个分块,其中第一分块为兔耳朵部分,第二分块为兔头部分,第三分块为兔身体部分,分别计算每个分块,得到每个分块对应的相对位移及重合度信息,其中可以理解的是,若第二分块和第三分块的重合度值大于预设值(如,90%可根据实际情况调整),则将第二分块和第三分块作为第一目标分块,重新根据第一目标分块对应的第i帧数据对应的子数据集和第j帧数据对应的子数据集确定旋转位移矩阵,所述旋转位移矩阵作为反映目标在第j帧与第i帧间整体位置变化的相对位置信息。
示例性的,以运动中的行人作为目标对象,将采集到的行人的点云数据进行分块处理,得到四肢部分对应的多个分块数据,以及头部、躯干部分对应的多个分块数据。通过匹配计算各个分块对应的重合度值可以获知:头部和躯干部分对应的多个分块的子位移旋转矩阵之间的重合度值较高。也就是说,头部和躯干部分为帧间运动差异较小的部分。则本实施例将头部和躯干部分对应的各个分块确定为第一目标分块集,最终基于第一目标分块集在第i帧和第j帧中分别对应的数据集进行匹配计算,得到反映目标对象在帧间的相对位置信息。
其中可以理解的是,在本实施例一种可选的方案中,在进行S610将目标对象分割处理为多个分块,还可以包括:获取同类目标对象分块匹配结果,根据同类目标对象分块匹配结果对当前的目标对象的分割处理规则进行修正。
举例来说,当确定目标对象为兔子时,获取以往兔子的第一目标分块集,仍以上述实施例为例,若将图5中的目标对象(兔子)分割为三个分块,其中第一分块为兔耳朵部分,第二分块为兔头部分,第三分块为兔身体部分,经过多次运算得到第一目标分块为第二分块和第三分块的结合部分的概率大于预设值,则以则根据以往兔子第一目标分块集进行当前目标对象的点云数据的分割,即当识别到目标对象为兔子时,优先将身体和头部部分对应的点云数据作为第一目标分块子集进行匹配计算,获取相对位置信息。
本实施例中,将相似度较高的子位移旋转矩阵对应的分块确定为上述目标分块集,有利于捕捉到目标对象在帧间运动差异较小的部分(分块),而将目标对象在帧间运动差异较小的部分用于计算反映目标对象在帧间整体变化的相对位置信息,有利于提升相对位置信息确定精准度,进而有利于进一步提升目标对象的运动信息的精准度。
在示例性的实施例中,在确定上述相对位置信息之后,可以基于第i帧和第j帧之间的时间差来确定目标对象的速度信息。从而确定目标对象的运动信息。需要说明的是,目标对象的运动信息还可以根据以下实施例确定,具体地:
在S410’中,确定目标对象在第i帧中对应的第一位置信息。
在示例性的实施例中,使用对整个目标的位置状态确定来代替选取目标的单一特征点或者多个特征点的位置变换关系来表征目标的实际运动,从而获得更准确的位置变换确定,最终可获得更准确的运动信息。本申请在于使用点云配准的方法来代替选用特征点达到获取更准确的位置变化的观测,进而获得更准确的目标运动状态的信息。该发明能显著改进目标运动状态确定的准确性。
本技术方案中上述相对位置信息能够反正整个目标的位置变化,因此,可以对于第i数据集中的任一个点来说,其由第i帧至第j帧的相对变化量是相同的,因此可以选取第i数据集中的任意一个点作为上述目标参考点。
在S420中,将相对位置信息和第一位置信息叠加,得到目标对象在第j帧中的第二位置信息。
在示例性的实施例中,可以将包括上述相对位移信息和相对姿态角信息的旋转位移矩阵以及反映第一位置信息的坐标信息进行叠加,得到目标对象在第j帧中的坐标信息,即得到上述第二位置信息。具体地,将相对位移信息叠加至上述第一位置信息的坐标信息,可以使得第i数据集进行平移,以及基于相对姿态角叠加至上述第一位置信息的坐标信息,可以使得上述第i数据集进行旋转,最终得到上述目标对象在第j帧中对应的第二位置信息。
在S420’中,获取第i帧与第j帧之间的时间差。以及,在S430中,基于卡尔曼滤波器或同类跟踪滤波算法,根据时间差、第一位置信息和第二位置信息,确定目标对象的移动速度、移动加速度以及移动方向。
在本事实例中,需要假设物体的运动方程和观测方程都是线性的且误差服从正态分布的基础上,获得目标对象的移动速度、移动加速度以及移动方向的最优估计信息。
在示例性的实施例中,为了着重关注目标对象的目标对象中某一分块的运动信息,本技术方案还可以在确定目标对象之后对目标对象分割处理得到目标分块(为了与上述“第一目标分块”区分,将此处的目标分块记作“第二目标分块”),并进一步地确定第二目标分块的运动信息。例如,用户希望着重确定上述实施例中兔子的耳朵的运动信息,则在多帧探测数据中确定出该目标对象兔子之后,将该目标对象对应的数据集进行分块,并获取兔子耳朵部分对应的第二目标分块。进一步地,确定第二目标分块的运动信息,具体包括:
获取第i帧中第二目标分块对应的第i子数据集,以及获取第j帧中该第二目标分块对应的第j子数据集;将第i子数据集和第j子数据集进行匹配计算,得到反映第二目标分块在第j帧与第i帧间整体位置变化的相对位置信息;最终,根据该相对位置信息确定第二目标分块的运动信息。从而确定了兔子的耳朵部分的的移动速度、移动加速度以及移动方向等信息。
关于确定上述第二目标分块的运动信息的具体实施方式,与确定上述目标对象的运动信息的实施例相类似,在此不再赘述。
本技术方案所确定的上述相对位置信息反映目标对象(更为具体的,还可以是对目标对象分割处理之后的第二目标分块)的整体位置变化,而不是相关技术中所涉及的数据集中的某个点的位置变化。本方案中的上述相对位置信息能够减少确定目标对象/第二目标分块块的运动信息的误差,因此本方案能够通过整个目标的位置状态确定来代替选取目标的单一特征点或者多个特征点的位置变换关系来表征目标的运动信息,从而能够减少确定目标对象/第二目标分块的运动信息的误差,最终提升对目标对象/第二目标分块的估算精准度。
示例性的,本技术方案能够显著改进对以下情况:1. 因为相对视角发生变化导致传感器在不同帧观测到目标的不同部位,如有车辆从激光雷达超车而过,目标的观测点云从观测到超车车辆的车头部位变为观测到超车车辆的车位部分。2. 行人行走时的摆臂动作造成的目标点云形体变化较大。3. 两轮车骑行者在转弯时候车头摆弯导致的点云形体局部变化。4. 超长拖挂车转弯时车头摆弯导致的点云形体局部较大变化。5. 传感器观测目标在某时刻受到了局部的遮挡导致目标的局部点云缺失。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
其中,图7示意性示出了根据一示例性的实施例中目标对象的运动信息确定装置的结构图。请参见图7,该图所示的目标对象的运动信息确定装置700可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分,还可以作为独立的模块集成于服务器上。
本申请实施例中的目标对象的运动信息确定装置700包括:目标对象确定模块710、数据集获取模块720、匹配模块730和运动信息确定模块740,其中:
上述目标对象确定模块710,用于:从N帧探测数据中确定出目标对象,N为正整数;上述数据集获取模块720,用于:获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;上述匹配模块730,用于:将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;以及,上述运动信息确定模块740,用于:根据上述相对位置信息确定上述目标对象的运动信息。
在示例性的实施例中,图8示意性示出了根据另一示例性的实施例中目标对象的运动信息确定装置的结构图。请参见图8:
示例性的,本申请实施例提供的目标对象的运动信息确定装置700中的匹配模块730具体用于:根据上述第i数据集和上述第j数据集计算上述目标对象的相对位移信息和相对姿态角信息,得到上述相对位置信息,其中,所述第i数据集经过所述相对位置信息的变换后与第j数据集重合度大于预设值。
示例性的,上述目标对象的运动信息确定装置700,还包括:分割处理模块760。
其中,上述分割处理模块760,用于:在上述目标对象确定模块710从N帧探测数据中确定出目标对象之后,将所述目标对象分割处理为多个分块;上述数据集获取模块720,还用于:对于每个所述分块,获取所述第i帧中对应的第i子数据集,以及获取所述第j帧中对应的第j子数据集;上述匹配模块730,具体用于:对于每个所述分块,将所述第i子数据集和所述第j子数据集进行匹配计算,得到多个重合度;将所述多个重合度种最大值对应的分块确定为第一目标分块;将根据所述第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵,确定为反映所述目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
示例性的,本申请实施例提供的目标对象的运动信息确定装置700中的运动信息确定模块740包括:位置信息确定单元7401、位置信息计算单元7402和运动信息确定单元7403。其中:
上述位置信息确定单元7401,用于:确定所述目标对象在所述第i帧中对应的第一位置信息;上述位置信息计算单元7402,用于:将上述相对位置信息和上述第一位置信息叠加,得到上述目标对象在上述第j帧中对应的第二位置信息;以及,上述运动信息确定单元7403,用于:根据上述第一位置信息和上述第二位置信息确定上述目标对象的运动信息。
示例性的,其中,所述相对位置信息包括相对位移信息和相对姿态角信息;上述位置信息计算单元7402,具体用于:将所述相对位移信息叠加至所述第一位置信息,以使得所述第i数据集进行平移,以及基于所述相对姿态角叠加至所述第一位置信息,以使得所述第i数据集进行旋转,得到所述目标对象在所述第j帧中对应的第二位置信息。
示例性的,上述运动信息确定单元7403具体用于:获取上述第i帧和上述第j帧间的时间差;以及,基于卡尔曼滤波器或同类跟踪滤波算法,根据上述时间差、上述第一位置信息和上述第二位置信息,确定上述目标对象的移动速度、移动加速度以及移动方向。
示例性的,本申请实施例提供的目标对象的运动信息确定装置700中的目标对象确定模块710包括:检测目标识别单元7101和关联匹配单元7102。其中:
上述检测目标识别单元7101,用于:获取N帧探测数据,并识别每帧探测数据中的检测目标。以及,上述关联匹配单元7102用于:将不同帧之间的检测目标进行关联匹配,得到一个或多个目标对象。
示例性的,上述检测目标识别单元7101,具体用于:将第k帧探测数据输入至预训练的目标识别模型,并根据上述目标识别模型的输出确定上述第k帧探测数据中的检测目标,其中,k为不大于N的正整数。
示例性的,本申请实施例提供的目标对象的运动信息确定装置700还包括模型训练模块750。其中:
上述模型训练模块750,用于:获取包含标记信息的多帧探测数据以确定训练集和测试集,其中,上述标记信息包括每帧探测数据所包含的近场检测目标;通过上述训练集训练机器学习算法;通过上述测试集对训练过程中的机器学习分类模型进行测试,并将满足预设评价指标的机器学习分类模型确定为上述目标识别模型。
示例性的,上述关联匹配单元7102,具体用于:计算第m帧对应的检测目标与第n帧对应的检测目标之间的特征相似度,上述特征相似度包括形状特征的相似度、位置特征的相似度,以及反射率的相似度,m不等于n,且m、n为不大于N的正整数;将满足预算要求的特征相似度对应的检测目标确定为上述目标对象。
示例性的,上述分割处理模块760,还用于:在目标对象确定模块710从N帧探测数据中确定出目标对象之后,将上述目标对象分割处理,得到上述目标对象的第二目标分块;
上述数据集获取模块720,具体用于:获取第i帧中上述第二目标分块对应的第i子数据集,以及获取第j帧中上述第二目标分块对应的第j子数据集;上述匹配模块730,具体用于:将上述第i子数据集和上述第j子数据集进行匹配计算,得到反映上述第二目标分块在上述第j帧与上述第i帧间整体位置变化的相对位置信息;以及,上述运动信息确定模块740,具体用于:根据上述相对位置信息确定上述第二目标分块的运动信息。
由于本申请的示例实施例的目标对象的运动信息确定装置的各个功能模块与上述目标对象的运动信息确定方法的示例实施例的步骤对应,因此对于本申请装置实施例中未披露的细节,请参照本申请上述的目标对象的运动信息确定方法的实施例。
需要说明的是,上述实施例提供的目标对象的运动信息确定装置在执行目标对象的运动信息确定方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标对象的运动信息确定装置与目标对象的运动信息确定方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC),或适合于存储指令和/或数据的任何类型的媒介或设备。
本申请实施例还提供了一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例方法的步骤。
图9示意性示出了适于用来实现上述目标对象的运动信息确定方法的终端的框图。如图9所示,终端900包括有:处理器901和存储器902。
本申请实施例中,处理器901为计算机系统的控制中心,可以是实体机的处理器,也可以是虚拟机的处理器。处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable LogicArray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(CentralProcessing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在本申请实施例中,上述处理器901具体用于:从N帧探测数据中确定出目标对象,N为正整数;获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;根据上述相对位置信息确定上述目标对象的运动信息。
进一步地,上述将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息,包括:根据上述第i数据集和上述第j数据集计算上述目标对象的相对位移信息和相对姿态角信息,得到上述相对位置信息,其中,上述第i数据集经过上述相对位置信息的变换后与第j数据集重合度大于预设值。
进一步地,在从N帧探测数据中确定出目标对象之后,所述方法还包括:将所述目标对象分割处理为多个分块;对于每个所述分块,获取所述第i帧中对应的第i子数据集,以及获取所述第j帧中对应的第j子数据集;
将所述第i数据集和所述第j数据集进行匹配计算,得到反映所述目标对象在所述第j帧与所述第i帧间整体位置变化的相对位置信息,包括:对于每个所述分块,将所述第i子数据集和所述第j子数据集进行匹配计算,得到多个重合度;将所述多个重合度种最大值对应的分块确定为第一目标分块;将根据所述第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵,确定为反映所述目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
进一步地,上述根据上述相对位置信息确定上述目标对象的运动信息,包括:确定所述目标对象在所述第i帧中对应的第一位置信息;将上述相对位置信息和上述第一位置信息叠加,得到上述目标对象在上述第j帧中对应的第二位置信息;根据上述第一位置信息和上述第二位置信息确定上述目标对象的运动信息。
进一步地,所述相对位置信息包括:相对位移信息和相对姿态角信息;将所述相对位置信息与所述第一位置信息叠加,得到所述目标对象在所述第j帧中对应的第二位置信息,包括:将所述相对位移信息叠加至所述第一位置信息,以使得所述第i数据集进行平移,以及基于所述相对姿态角叠加至所述第一位置信息,以使得所述第i数据集进行旋转,得到所述目标对象在所述第j帧中对应的第二位置信息。
进一步地,根据上述第一位置信息和上述第二位置信息确定上述目标对象的运动信息,包括:获取上述第i帧和上述第j帧间的时间差;基于卡尔曼滤波器或同类跟踪滤波算法,根据上述时间差、上述第一位置信息和上述第二位置信息,确定上述目标对象的移动速度、移动加速度以及移动方向。
进一步地,获取N帧探测数据,并从上述N帧探测数据中确定一个或多个目标对象,包括:获取N帧探测数据,并识别每帧探测数据中的检测目标;将不同帧之间的检测目标进行关联匹配,得到一个或多个目标对象。
进一步地,识别每帧探测数据中的检测目标,包括:将第k帧探测数据输入至预训练的目标识别模型,并根据上述目标识别模型的输出确定上述第k帧探测数据中的检测目标,其中,k为不大于N的正整数。
进一步地,上述方法还包括:获取包含标记信息的多帧探测数据以确定训练集和测试集,其中,上述标记信息包括每帧探测数据所包含的近场检测目标;通过上述训练集训练机器学习算法;通过上述测试集对训练过程中的机器学习分类模型进行测试,并将满足预设评价指标的机器学习分类模型确定为上述目标识别模型。
进一步地,上述将不同帧之间的检测目标进行关联匹配,得到一个或多个目标对象,包括:计算第m帧对应的检测目标与第n帧对应的检测目标之间的特征相似度,上述特征相似度包括形状特征的相似度、位置特征的相似度,以及反射率的相似度,m不等于n,且m、n为不大于N的正整数;将满足预算要求的特征相似度对应的检测目标确定为上述目标对象。
进一步地,在从N帧探测数据中确定出目标对象之后,上述方法还包括:将上述目标对象分割处理,得到上述目标对象的多个第二目标分块;
获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,包括:获取第i帧中上述第二目标分块对应的第i子数据集,以及获取第j帧中上述第二目标分块对应的第j子数据集;
将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息,包括:将上述第i子数据集和上述第j子数据集进行匹配计算,得到反映上述第二目标分块在上述第j帧与上述第i帧间整体位置变化的相对位置信息;
根据上述相对位置信息确定上述目标对象的运动信息,包括:根据上述相对位置信息确定上述第二目标分块的运动信息。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在本申请的一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储一个或多个指令,该一个或多个指令用于被处理器901所执行以实现本申请实施例中的方法。
一些实施例中,终端900还包括有:外围设备接口903和一个或多个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:显示屏904、摄像头905和音频电路906中的至少一种。
外围设备接口903可被用于将I/O(Input/Output,输入/输出)相关的一个或多个外围设备连接到处理器901和存储器902。在本申请的一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在本申请的一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现。本申请实施例对此不作具体限定。
显示屏904用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏904是触摸显示屏时,显示屏904还具有采集在显示屏904的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏904还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在本申请的一些实施例中,显示屏904可以为一个,设置终端900的前面板;在本申请的另一些实施例中,显示屏904可以为至少两个,分别设置在终端900的不同表面或呈折叠设计;在本申请的再一些实施例中,显示屏904可以是柔性显示屏,设置在终端900的弯曲表面上或折叠面上。甚至,显示屏904还可以设置成非矩形的不规则图形,也即异形屏。显示屏904可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头905用于采集图像或视频。可选地,摄像头905包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在本申请的一些实施例中,摄像头905还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路906可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
电源907用于为终端900中的各个组件进行供电。电源907可以是交流电、直流电、一次性电池或可充电电池。当电源907包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本申请实施例中示出的终端结构框图并不构成对终端900的限定,终端900可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在本申请中,术语“第一”、“第二”等仅用于描述的目的,而不能理解为指示或暗示相对重要性或顺序;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
本申请的描述中,需要理解的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本申请的限制。
以上上述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (8)
1.一种目标对象的运动信息确定方法,其中,包括:
从N帧探测数据中确定出目标对象,N为正整数;
获取第i帧中所述目标对象对应的第i数据集,以及获取第j帧中所述目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;
将所述第i数据集和所述第j数据集进行匹配计算,得到反映所述目标对象在所述第j帧与所述第i帧间整体位置变化的相对位置信息;
根据所述相对位置信息确定所述目标对象的运动信息;其中,
从N帧探测数据中确定出目标对象,包括:
获取N帧探测数据,并识别每帧探测数据中的检测目标;将不同帧之间的检测目标进行关联匹配,得到一个或多个所述目标对象;
在从N帧探测数据中确定出目标对象之后,所述方法还包括:
将所述目标对象分割处理为多个分块;对于每个所述分块,获取所述第i帧中对应的第i子数据集,以及获取所述第j帧中对应的第j子数据集;
将所述第i数据集和所述第j数据集进行匹配计算,得到反映所述目标对象在所述第j帧与所述第i帧间整体位置变化的相对位置信息,包括:
对于每个所述分块,将所述第i子数据集和所述第j子数据集进行匹配计算,得到多个重合度;将所述多个重合度中最大值对应的分块确定为第一目标分块;将根据所述第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵,确定为反映所述目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
2.根据权利要求1所述的目标对象的运动信息确定方法,其中,将所述第i数据集和所述第j数据集进行匹配计算,得到反映所述目标对象在所述第j帧与所述第i帧间整体位置变化的相对位置信息,包括:
根据所述第i数据集和所述第j数据集计算所述目标对象的相对位移信息和相对姿态角信息,得到所述相对位置信息;
其中,所述第i数据集经过所述相对位置信息的变换后与第j数据集重合度大于预设值。
3.根据权利要求1所述的目标对象的运动信息确定方法,其中,根据所述相对位置信息确定所述目标对象的运动信息,包括:
确定所述目标对象在所述第i帧中对应的第一位置信息;
将所述相对位置信息和所述第一位置信息叠加,得到所述目标对象在所述第j帧中对应的第二位置信息;
根据所述第一位置信息和所述第二位置信息确定所述目标对象的运动信息。
4.根据权利要求3所述的目标对象的运动信息确定方法,其中,所述相对位置信息包括:相对位移信息和相对姿态角信息;将所述相对位置信息和所述第一位置信息叠加,得到所述目标对象在所述第j帧中对应的第二位置信息,包括:
将所述相对位移信息叠加至所述第一位置信息,以使得所述第i数据集进行平移,以及基于所述相对姿态角叠加至所述第一位置信息,以使得所述第i数据集进行旋转,得到所述目标对象在所述第j帧中对应的第二位置信息。
5.根据权利要求3所述的目标对象的运动信息确定方法,其中,根据所述第一位置信息和所述第二位置信息确定所述目标对象的运动信息,包括:
获取所述第i帧和所述第j帧间的时间差;
基于卡尔曼滤波器或同类跟踪滤波算法,根据所述时间差、所述第一位置信息和所述第二位置信息,确定所述目标对象的移动速度、移动加速度以及移动方向。
6.一种目标对象的运动信息确定装置,其中,包括:
目标对象确定模块,用于:从N帧探测数据中确定出目标对象,N为正整数;
数据集获取模块,用于:获取第i帧中所述目标对象对应的第i数据集,以及获取第j帧中所述目标对象对应的第j数据集,i为小于N的正整数,j为大于1且不大于N的正整数,且i小于j;
匹配模块,用于:将所述第i数据集和所述第j数据集进行匹配计算,得到反映所述目标对象在所述第j帧与所述第i帧间整体位置变化的相对位置信息;
运动信息确定模块,用于:根据所述相对位置信息确定所述目标对象的运动信息;其中,
所述目标对象确定模块,具体用于:获取N帧探测数据,并识别每帧探测数据中的检测目标;将不同帧之间的检测目标进行关联匹配,得到一个或多个所述目标对象;
分割处理模,用于:在所述目标对象确定模块从N帧探测数据中确定出目标对象之后,将所述目标对象分割处理为多个分块;
所述数据集获取模块,还用于:对于每个所述分块,获取所述第i帧中对应的第i子数据集,以及获取所述第j帧中对应的第j子数据集;
所述匹配模块,具体用于:对于每个所述分块,将所述第i子数据集和所述第j子数据集进行匹配计算,得到多个重合度;将所述多个重合度种最大值对应的分块确定为第一目标分块;将根据所述第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵,确定为反映所述目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
7.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1至5中任一项所述的目标对象的运动信息确定方法的步骤。
8.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的目标对象的运动信息确定方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111546195.6A CN114429486A (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
CN202110906967.6A CN113362370B (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110906967.6A CN113362370B (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111546195.6A Division CN114429486A (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113362370A CN113362370A (zh) | 2021-09-07 |
CN113362370B true CN113362370B (zh) | 2022-01-11 |
Family
ID=77540594
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110906967.6A Active CN113362370B (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
CN202111546195.6A Pending CN114429486A (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111546195.6A Pending CN114429486A (zh) | 2021-08-09 | 2021-08-09 | 目标对象的运动信息确定方法、装置、介质及终端 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113362370B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125659A (zh) * | 2021-10-29 | 2022-03-01 | 歌尔科技有限公司 | 音量实时补偿方法、电子设备及可读存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7046822B1 (en) * | 1999-06-11 | 2006-05-16 | Daimlerchrysler Ag | Method of detecting objects within a wide range of a road vehicle |
CN106203274A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种视频监控中行人实时检测系统及方法 |
CN106780620A (zh) * | 2016-11-28 | 2017-05-31 | 长安大学 | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 |
CN108010056A (zh) * | 2017-11-27 | 2018-05-08 | 北京工业大学 | 一种基于四维医学影像的血管运动跟踪方法 |
CN108574929A (zh) * | 2017-03-08 | 2018-09-25 | 通用汽车环球科技运作有限责任公司 | 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 |
CN108921879A (zh) * | 2018-05-16 | 2018-11-30 | 中国地质大学(武汉) | 基于区域选择的CNN和Kalman滤波的运动目标跟踪方法及系统 |
CN110264740A (zh) * | 2019-06-24 | 2019-09-20 | 长沙理工大学 | 基于视频的交通机非人实时轨迹检测器和检测方法 |
CN110349158A (zh) * | 2018-04-04 | 2019-10-18 | 北京京东尚科信息技术有限公司 | 一种处理点云数据的方法和装置 |
CN111274852A (zh) * | 2018-12-05 | 2020-06-12 | 北京猎户星空科技有限公司 | 目标对象关键点检测方法和装置 |
CN111666797A (zh) * | 2019-03-08 | 2020-09-15 | 深圳市速腾聚创科技有限公司 | 车辆定位方法、装置和计算机设备 |
CN111723597A (zh) * | 2019-03-18 | 2020-09-29 | 深圳市速腾聚创科技有限公司 | 跟踪算法的精度检测方法、装置、计算机设备和存储介质 |
CN112037148A (zh) * | 2020-09-07 | 2020-12-04 | 杨仙莲 | 区块链的大数据运动目标检测识别方法及系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102014110667A1 (de) * | 2014-07-29 | 2016-02-04 | Valeo Schalter Und Sensoren Gmbh | Vefahren zum Klassifizieren eines Objektes in einem Umgebungsbereich eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug |
US10621444B1 (en) * | 2019-10-25 | 2020-04-14 | 7-Eleven, Inc. | Action detection during image tracking |
US10726631B1 (en) * | 2019-08-03 | 2020-07-28 | VIRNECT inc. | Augmented reality system and method with frame region recording and reproduction technology based on object tracking |
CN110766716B (zh) * | 2019-09-10 | 2022-03-29 | 中国科学院深圳先进技术研究院 | 一种空间未知运动目标的信息获取方法及系统 |
CN111242976B (zh) * | 2020-01-08 | 2021-05-11 | 北京天睿空间科技股份有限公司 | 一种利用注意力机制的航空器检测跟踪方法 |
-
2021
- 2021-08-09 CN CN202110906967.6A patent/CN113362370B/zh active Active
- 2021-08-09 CN CN202111546195.6A patent/CN114429486A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7046822B1 (en) * | 1999-06-11 | 2006-05-16 | Daimlerchrysler Ag | Method of detecting objects within a wide range of a road vehicle |
CN106203274A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种视频监控中行人实时检测系统及方法 |
CN106780620A (zh) * | 2016-11-28 | 2017-05-31 | 长安大学 | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 |
CN108574929A (zh) * | 2017-03-08 | 2018-09-25 | 通用汽车环球科技运作有限责任公司 | 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 |
CN108010056A (zh) * | 2017-11-27 | 2018-05-08 | 北京工业大学 | 一种基于四维医学影像的血管运动跟踪方法 |
CN110349158A (zh) * | 2018-04-04 | 2019-10-18 | 北京京东尚科信息技术有限公司 | 一种处理点云数据的方法和装置 |
CN108921879A (zh) * | 2018-05-16 | 2018-11-30 | 中国地质大学(武汉) | 基于区域选择的CNN和Kalman滤波的运动目标跟踪方法及系统 |
CN111274852A (zh) * | 2018-12-05 | 2020-06-12 | 北京猎户星空科技有限公司 | 目标对象关键点检测方法和装置 |
CN111666797A (zh) * | 2019-03-08 | 2020-09-15 | 深圳市速腾聚创科技有限公司 | 车辆定位方法、装置和计算机设备 |
CN111723597A (zh) * | 2019-03-18 | 2020-09-29 | 深圳市速腾聚创科技有限公司 | 跟踪算法的精度检测方法、装置、计算机设备和存储介质 |
CN110264740A (zh) * | 2019-06-24 | 2019-09-20 | 长沙理工大学 | 基于视频的交通机非人实时轨迹检测器和检测方法 |
CN112037148A (zh) * | 2020-09-07 | 2020-12-04 | 杨仙莲 | 区块链的大数据运动目标检测识别方法及系统 |
Non-Patent Citations (2)
Title |
---|
基于激光雷达和相机信息融合的目标检测及跟踪;常昕等;《光电工程》;20190715;第46卷(第07期);第91-101页 * |
基于激光雷达的障碍物检测和跟踪算法的研究与实现;胡杰;《中国优秀博硕士学位论文全文数据库(硕士)_工程科技Ⅱ辑》;20200715(第07期);C035-335 * |
Also Published As
Publication number | Publication date |
---|---|
CN114429486A (zh) | 2022-05-03 |
CN113362370A (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109188457B (zh) | 物体检测框的生成方法、装置、设备、存储介质及车辆 | |
US11567496B2 (en) | Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory | |
CN108352056A (zh) | 用于校正错误深度信息的系统和方法 | |
CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
CN113916243A (zh) | 目标场景区域的车辆定位方法、装置、设备和存储介质 | |
CN110378966A (zh) | 相机外参标定方法、装置、计算机设备及存储介质 | |
CN109300143A (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
CN115223135B (zh) | 车位跟踪方法、装置、车辆及存储介质 | |
CN113362370B (zh) | 目标对象的运动信息确定方法、装置、介质及终端 | |
CN117496515A (zh) | 点云数据标注方法、存储介质和电子设备 | |
CN116342677A (zh) | 一种深度估计方法、装置、车辆及计算机程序产品 | |
CN112818845B (zh) | 测试方法、目标对象检测方法、行驶控制方法及装置 | |
CN111664860B (zh) | 定位方法、装置、智能设备及存储介质 | |
CN116263504A (zh) | 车辆识别方法、装置、电子设备及计算机可读存储介质 | |
CN113281770A (zh) | 坐标系关系获取方法及装置 | |
WO2020261333A1 (ja) | 学習装置、交通事象予測システム及び学習方法 | |
CN113433566A (zh) | 地图建构系统以及地图建构方法 | |
WO2018120932A1 (en) | Method and apparatus for optimizing scan data and method and apparatus for correcting trajectory | |
CN118397588B (zh) | 智能驾驶汽车用摄像头场景分析方法、系统、设备及介质 | |
CN113838125B (zh) | 目标位置确定方法、装置、电子设备以及存储介质 | |
CN115082662B (zh) | 目标区域的定位方法和目标区域的定位装置 | |
WO2020073272A1 (en) | Snapshot image to train an event detector | |
WO2020073270A1 (en) | Snapshot image of traffic scenario | |
WO2020073271A1 (en) | Snapshot image of traffic scenario | |
WO2020073268A1 (en) | Snapshot image to train roadmodel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |