CN113689491B - 目标定位方法、多目标跟踪方法及装置 - Google Patents
目标定位方法、多目标跟踪方法及装置 Download PDFInfo
- Publication number
- CN113689491B CN113689491B CN202111028696.5A CN202111028696A CN113689491B CN 113689491 B CN113689491 B CN 113689491B CN 202111028696 A CN202111028696 A CN 202111028696A CN 113689491 B CN113689491 B CN 113689491B
- Authority
- CN
- China
- Prior art keywords
- target
- image frame
- point
- representative point
- connecting line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本发明涉公开了一种目标定位方法、多目标跟踪方法及装置。其中，目标定位方法包括步骤：获取图像帧、图像帧中的目标代表点集合、目标对象的第一延伸方向上的第一灭点；连接目标代表点和第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合；对第一原始连线集合进行聚类，得到第一拟合连线集合；获取第二灭点；连接目标代表点和第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；对第二原始连线集合进行聚类，得到第二拟合连线集合；基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果。本方法通过简单的方法定位出视频图像帧中的人物位于队列中的位置，对性能的要求不高，适用性强。
Description
技术领域
本发明涉及图像处理的技术领域，更具体地，涉及一种目标定位方法、多目标跟踪方法及装置。
背景技术
目前，AI技术越来越多的应用在生活、教学、企业中，其中人脸检测、人脸识别技术被越来越多的应用在自动点名中。在远程会议或远程教学中，主讲人一般能够实时观看听讲端的直播视频。如图1所示，可以通过人脸识别技术对视频中的人物进行识别，然后在视频上对人物添加相对应的标签，如姓名。通过视频上的姓名标签，主讲人知道视频中各个人物的名字，方便点名对话交流。
然而，同时进行多人人脸识别对硬件性能要求极高，为了能够适应性能要求低的平台，公布号为CN105551104A的专利通过利用中小学教室学生座位相对固定的特点，预先抠出视频中的座位区域，通过导入座位表，关联座位区域与座位表中的学生座位信息，从而达到不需要对学生进行人脸识别也能够准确地标记出学生信息的效果。但是，中小学生的座位在教室中的位置不是一成不变的，可能会基于上课的需要，对课桌位置进行调整，并且，拍摄学生的摄像机的拍摄角度也不是不变的，当课桌位置发生了调整或摄像机的拍摄角度发生了变化后，上述专利所预先抠出的座位区域就不是实际上的座位区域。因此，急需一种对性能要求不高且能够实时反映出学生位置的定位方法。
发明内容
本发明为克服现有技术中无法在不特别花费运力的同时也能实时反映出学生位置的缺陷，提供一种目标定位方法目标定位方法、多目标跟踪方法及装置、设备及存储介质。本发明采用的技术方案如下。
第一方面，本发明提供一种目标定位方法，包括步骤：
获取图像帧、所述图像帧中的目标代表点集合、所述图像帧中基于目标对象的第一延伸方向上的第一灭点；
其中，所述目标代表点为对图像帧进行目标对象检测后得到的代表该目标对象的点；
基于所述目标代表点集合，连接目标代表点和所述第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合；
对第一原始连线集合进行聚类，得到第一拟合连线集合；
在所述图像帧中基于目标对象的第二延伸方向上具有第二灭点时，执行第一操作，得到第二拟合连线集合；
基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果；
其中，所述第一操作包括步骤：
获取所述第二灭点；
基于所述目标代表点集合，连接目标代表点和所述第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；
对第二原始连线集合进行聚类，得到第二拟合连线集合。
在一种实施方式中，还包括步骤：
在所述图像帧中基于学生座位的第二延伸方向上不具有第二灭点时，执行第二操作，得到第二拟合连线集合；
其中，所述第二操作包括步骤：
对所述目标代表点集合进行聚类，得到在第二延伸方向上的第二拟合连线集合。
在一种实施方式中，所述对第一原始连线集合进行聚类的过程和/或对第二原始连线集合进行聚类的过程中，包括步骤：
获取基准连线；
获取到所述基准连线的距离在预设距离范围内的目标代表点；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目不为0时，执行第一聚类操作；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目为0时，执行第二聚类操作；
其中，第一聚类操作包括步骤：
获取所述到所述基准连线的距离在预设距离范围内的目标代表点中离所述基准连线的距离最短的目标代表点所对应的原始连线；
根据所述基准连线和所述距离最短的目标代表点所对应的原始连线，生成预拟合连线；
输出所述预拟合连线为基准连线；
第二聚类操作包括步骤：
输出所述预拟合连线为拟合连线。
在一种实施方式中，初始化时，以其中一条原始连线为基准连线。
在一种实施方式中，初始化时，以上一图像帧的对应位置的拟合连线作为基准连线。
在一种实施方式中，还包括步骤：
舍弃由不大于预设数量阈值的原始连线聚类而得到的拟合连线。
第二方面，本发明提供一种多目标跟踪方法，包括步骤：
获取视频中的第一图像帧和第二图像帧，获取第一图像帧和第二图像帧的目标对象的定位结果；
其中，所述目标对象的定位结果通过如上述任一实施方式的方法得到；
根据所述目标对象的定位结果配对第一图像帧和第二图像帧中的目标对象。
第三方面，本发明提供一种目标定位装置，包括：
获取模块，用于获取图像帧、所述图像帧中的目标代表点集合、所述图像帧中基于目标对象的第一延伸方向上的第一灭点；
其中，所述目标代表点为对图像帧进行目标对象检测后得到的代表该目标对象的点；
连线生成模块，用于基于所述目标代表点集合，连接目标代表点和所述第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合；
聚类模块，用于对第一原始连线集合进行聚类，得到第一拟合连线集合；
执行模块，用于在所述图像帧中基于目标对象的第二延伸方向上具有第二灭点时，执行第一操作；
其中，所述第一操作包括步骤：
控制获取模块获取所述第二灭点；
控制连线生成模块基于所述目标代表点集合，连接目标代表点和所述第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；
控制聚类模块对第二原始连线集合进行聚类，得到第二拟合连线集合；
定位模块，基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果。
第四方面，本发明提供一种多目标跟踪装置，其特征在于，包括：
获取模块，获取视频中的第一图像帧和第二图像帧；
所述获取模块，还用于获取第一图像帧和第二图像帧的目标对象的定位结果，其中，所述目标对象的定位结果采用上述的目标定位装置得到；
配对模块，用于根据所述目标对象的定位结果配对第一图像帧和第二图像帧中的目标对象。
第五方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施方式的方法。
第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一实施方式的方法。
本发明通过透视的方法，得出视频帧中当前的座位分布，再将座位与视频中的目标对象对应起来，得到目标对象在哪个座位上，从而得到目标对象的座位定位结果。继而利用阵列中人物的位置是一定的这个特点，根据目标对象的定位结果配对各个图像帧中的目标对象，完成了对目标对象的跟踪。本发明通过简单的方法实时定位出视频图像帧中的人物位于队列中的位置，对性能的要求不高，适用性强。
附图说明
图1是现有技术中在视频中添加姓名标签的示意图。
图2是本发明实施例一的流程示意图。
图3是本发明实施例一中的透视示意图。
图4是本发明实施例一中的行列示意图。
图5是本发明实施例一中的聚类示意图。
图6是本发明实施例三的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，本发明实施例所涉及的术语“第一\第二\……”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\……”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\……”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
实施例一
请参见图2，图2为本发明实施例一提供的一种目标定位方法的流程示意图，该方法包括步骤S110、步骤S120、步骤S130、步骤S140和步骤S150。需要注意的是，步骤S110、步骤S120、步骤S130、步骤S140和步骤S150仅为附图标记，用于清晰解释实施例与附图2的对应关系，不代表对本实施例中的方法的各方法步骤的顺序限定。
步骤S110，获取图像帧、所述图像帧中的目标代表点集合、所述图像帧中基于目标对象的第一延伸方向上的第一灭点；
其中，所述目标代表点为对图像帧进行目标对象检测后得到的代表该目标对象的点。
获取图像帧，该图像帧已被进行了目标检测，例如人头检测，如图3所示，得到了多个框住目标对象的检测框，基于该检测框，确定各个目标对象的目标代表点，例如用检测框的中心点作为代表点，获取图像帧中所有的这些目标代表点，即图像帧中的目标代表点集合。
这里需要指出的是，本方法同样适应于在视频中呈队列分布的视频帧，例如对于空电影院或空教室中，找出图像帧中的座位是哪行哪列的座位，又例如军训方阵或集会方阵中，对于具体的某人在几行几列的确定，所以检测目标要根据实际情况确定，不一定是人，也可能是物，例如前面所说的空电影院的情形下，目标对象可能是电影院里的椅子。本实施例中为了方便说明，以教室中的学生作为例子说明。
对于目标对象检测，可以使用基于深度学习的目标检测算法，其中，基于深度学习的目标检测算法主要分为两类：Two stage目标检测算法和One stage目标检测算法。Twostage目标检测算法，先进行区域生成(region proposal，RP)(一个有可能包含待检物体的预选框)，再通过卷积神经网络进行样本分类，任务是：特征提取->生成RP->分类/定位回归。常见的two stage目标检测算法有：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和R-FCN等。One stage目标检测算法，不用RP，直接在网络中提取特征来预测物体分类和位置，任务是：特征提取->分类/定位回归。常见的one stage目标检测算法有：OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。
如图3所示，教室中的学生一般都是行列分布坐着，各行的延伸方向之间是平行的，各列的延伸方向之间也是平行的。因此，根据摄像机的拍摄角度不同，会出现两种情况：1、在摄像机的拍摄角度与行和列的延伸方向都不平行的时候，行和列的延伸方向上均存在灭点，如图3中，就有两个灭点Wf和We；2、摄像机的拍摄角度与行或列之一平行的时候，只有在不平行的行或列的延伸方向上存在灭点。但不管怎样，至少存在一个灭点，本步骤中，在只有一个灭点的情况下，在图像帧中获取该灭点的位置，在存在两个灭点的情况下，获取其中一个延伸方向上的灭点的位置，即获取基于目标对象的第一延伸方向上的第一灭点。
这里需要指出的是，本方法所说的行列是广义上的行列，只要行与行之间是平行的，列与列之间是平行的，就构成了本方法中的行列，行列之间并不一定需要要正交，例如如图4所示，这时列的延伸方向是f1，行的延伸方向是f2，f1与f2并不正交，但因为列与列之间是平行的，行与行之间是平行的，所以也是本发明中所说的行列。
这里需要说明的是，由于学生座位不会十分对齐，因此可以在教室内对两个延伸方向作辅助性的平行线，利用该平行线的灭点作为行或列延伸方向上的灭点。
步骤S120，基于所述目标代表点集合，连接目标代表点和所述第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合。
如图5所示，为了方便描述，图5只对图3中的最左边一列进行示例性展示。图5中，a、b、c三个点分别是图3中最左边一列的目标代表点。三个点a、b、c与列方向的第一灭点Wf连接，有l1a、l2a、l3a三条原始连线，这三条原始连线就是目标代表点与第一灭点连接的第一原始连线集合。对于剩下的目标代表点，也进行同样的操作。图3中有12个人头，即有12个目标代表点，也就产生了12条原始连线，这12条原始连线就是第一原始连线集合。
步骤S130，对第一原始连线集合进行聚类，得到第一拟合连线集合。
对步骤S120产生的12条第一原始连线进行聚类，例如图5中，l1a、l2a、l3a三条原始连线聚类的结果就是线L11，对其他的原始连线聚类后，得到L12、L13和L14三条第一拟合连线，此时第一拟合连线集合就是L11、L12、L13和L14四条连线。
步骤S140，在所述图像帧中基于目标对象的第二延伸方向上具有第二灭点时，执行第一操作，得到第二拟合连线集合。
第一操作包括：步骤S210、步骤S220和步骤S230。
步骤S210，获取所述第二灭点；
步骤S220，基于所述目标代表点集合，连接目标代表点和所述第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；
步骤S230，对第二原始连线集合进行聚类，得到第二拟合连线集合。
步骤S140是针对前述所说的具有两个灭点的情形，在具有第二灭点时执行第一操作，得到第二拟合连线集合。第一操作包含3个步骤，这3个步骤与步骤S110-S130的做法相同，这里就不再详述了。总之，经过步骤S210-S230后，在第二延伸方向上，得到了第二拟合连线集合，如图3所示的L21、L22、L23三条线。
步骤S150，基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果。
第一拟合连线集合和第二拟合连线集合的交点，实际上反映的就是学生当前的就坐情况，每一个交点就是学生应该就坐的位置。与此同时，这些交点也是由目标代表点产生的，能够找到目标代表点与交点之间的对应关系，所以通过该对应关系，比对目标对象与交点之间的关系，实际上就知道具体位置上对应的是哪个学生，因而可以定位出视频图像帧中的人物位于队列中的位置，即知道目标的座位定位结果。
本方法通过透视的方法，得出视频帧中当前的座位分布，再将座位与视频中的目标对象对应起来，得到目标对象在哪个座位上，从而得到目标对象的座位定位结果。本方法通过简单的方法实时定位出视频图像帧中的人物位于队列中的位置，对性能的要求不高，适用性强。
由于中小学教学的学生座位相对比较固定，所以可以利用本方法得出的学生定位做很多事情，例如，当知道了图像帧中的某个目标对象是坐第几行第几列的学生，就可以利用对照座位表等方式，知道这个目标对象是何人了。
在一种实施方式中，还包括步骤S160。
步骤S160，在所述图像帧中基于学生座位的第二延伸方向上不具有第二灭点时，执行第二操作，得到第二拟合连线集合；
所述第二操作包括：步骤S310。
步骤S310，对所述目标代表点集合进行聚类，得到在第二延伸方向上的第二拟合连线集合。
步骤S160是针对前述所说的只具有一个灭点的情形。由于图像帧一般是矩形的，所以这种情形下，图像帧中的第二延伸方向会与矩形的长边或短边之一平行，所以第二拟合连线要不就是跟长边平行，要不就是跟短边平行。以与长边平行为例进行说明，由于第二拟合连线都与长边平行，那么将离底边不同高度的目标代表点聚类起来，就得到若干条第二拟合连线，即得到了第二拟合连线集合。
得到第二拟合连线后，在步骤S150中，基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果。
在一种实施方式中，还包括步骤S170。
步骤S170，舍弃由不大于预设数量阈值的原始连线聚类而得到的拟合连线。
例如在教室里面，列与列之间有过道，老师或学生会在过道上路过，而过道不是队列上的位置，但对图像帧进行目标对象检测时，会检测到过道上路过的对象，通过这些对象的目标代表点所形成的原始连线是无法跟其他的原始连线聚类的，最终可能会这条原始连线自己就成了拟合连线(第一拟合连线或第二拟合连线)。然而，这条拟合连线本身是错误的，会影响其在后续步骤中形成的交点，应该舍弃掉。因此，本步骤在聚类的时候对数量阈值进行了限制，例如是2，那么2或2条以下的原始连线聚类而得到的拟合连线，都认为是错误的拟合连线，舍弃之。
在一种实施方式中，所述对第一原始连线集合进行聚类的过程和/或对第二原始连线集合进行聚类的过程中，包括：步骤S410、步骤S420和步骤S430。
步骤S410，获取基准连线；
步骤S420，获取到所述基准连线的距离在预设距离范围内的目标代表点；
步骤S430，在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目不为0时，执行第一聚类操作；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目为0时，执行第二聚类操作；
其中，第一聚类操作包括：步骤S4311、步骤S4312和步骤S4313。
步骤S4311，获取所述到所述基准连线的距离在预设距离范围内的目标代表点中离所述基准连线的距离最短的目标代表点所对应的原始连线；
步骤S4312，根据所述基准连线和所述距离最短的目标代表点所对应的原始连线，生成预拟合连线；
步骤S4313，输出所述预拟合连线为基准连线；
第二聚类操作包括：步骤S4321。
步骤S4321，输出所述预拟合连线为拟合连线。
本实施方式是对聚类得出一条拟合连线的过程进行说明，多次使用本实施方式的步骤，可以得出第一拟合连线集合和第二拟合连线集合。
本实施方式中，初始时获取预设的一条线为基准连线，筛选出与基准连线的距离在预设距离范围内的目标代表点，其中，该预设距离范围可以是若干倍检测框的大小。筛选出目标代表点后，找出其中的离基准连线最近的代表点，并根据这个最近的代表点获取其对应的原始连线，通过预设模型，例如设置基准连线与该原始连线不同的权重，生成出一条预拟合连线。然后，又用这条预拟合连线作为基准连线再重复上面的步骤，直到没有可以拟合的在距离范围内的代表点为止。这时，输出预拟合连线为拟合连线。
这里需要说明的是，本领域技术人员可以根据实际情况，部分或者全部采用上述的实施方式进行聚类。
在一种实施方式中，初始化时，以其中一条原始连线为基准连线。
在一种实施方式中，初始化时，以上一图像帧的对应位置的拟合连线作为基准连线。
以上两种实施方式都是对初始时用那条线作为基准连线进行限定。对于前一帧也使用了本方法的图像帧，它也有若干条拟合连线，将对应位置的拟合连线作为基准连线，由于相邻两个图像帧之间的差距不会太大，所有这样选取的基准连线偏差不会太大。但在没有前一帧图像帧，或与前一帧图像帧之间的变化比较大的情况下，可以以其中的一条原始连线作为基准连线。
实施例二
本实施例中提供一种多目标跟踪方法，该方法是基于实施例一的基础上进行多目标跟踪的。
一种多目标跟踪方法，包括步骤：
获取视频中的第一图像帧和第二图像帧，通过目标定位方法获取第一图像帧和第二图像帧的目标对象的定位结果；
其中，所述目标对象的定位结果通过实施例一中任一实施方式得到；
根据所述目标对象的定位结果配对第一图像帧和第二图像帧中的目标对象。
传统的跟踪方案中，当同一个人在前后两帧中的距离较大时，就会跟丢目标人物，所以对检测帧率有一定要求，才能保证跟踪的稳定性。通过实施例一中的方法能够得出各个目标对象的定位结果，本实施例中利用阵列中人物的位置是一定的这个特点，因此根据目标对象的定位结果就可以配对各个图像帧中的目标对象，即完成了对目标对象的跟踪。本实施例的方法对检测的帧率没有要求，极大的降低了检测设备的硬件性能要求。
实施例三
与实施例一的方法对应，如图6所示，本发明还提供一种目标定位装置6，包括：获取模块601、连线生成模块602、聚类模块603、执行模块604和定位模块605。
获取模块601，用于获取图像帧、所述图像帧中的目标代表点集合、所述图像帧中基于目标对象的第一延伸方向上的第一灭点；
其中，所述目标代表点为对图像帧进行目标对象检测后得到的代表该目标对象的点；
连线生成模块602，用于基于所述目标代表点集合，连接目标代表点和所述第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合；
聚类模块603，用于对第一原始连线集合进行聚类，得到第一拟合连线集合；
执行模块604，用于在所述图像帧中基于目标对象的第二延伸方向上具有第二灭点时，执行第一操作；
其中，所述第一操作包括步骤：
控制获取模块获取所述第二灭点；
控制连线生成模块基于所述目标代表点集合，连接目标代表点和所述第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；
控制聚类模块对第二原始连线集合进行聚类，得到第二拟合连线集合；
定位模块605，基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果。
本装置通过透视的方法，得出视频帧中当前的座位分布，再将座位与视频中的目标对象对应起来，得到目标对象在哪个座位上，从而得到目标对象的座位定位结果。本装置通过简单的方法实时定位出视频图像帧中的人物位于队列中的位置，对性能的要求不高，适用性强。
在一种实施方式中，执行模块604，还用于在所述图像帧中基于学生座位的第二延伸方向上不具有第二灭点时，执行第二操作；
其中，所述第二操作包括步骤：
控制聚类模块对所述目标代表点集合进行聚类，得到在第二延伸方向上的第二拟合连线集合。
在一种实施方式中，聚类模块603进行聚类的过程，包括步骤：
获取基准连线；
获取到所述基准连线的距离在预设距离范围内的目标代表点；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目不为0时，执行第一聚类操作；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目为0时，执行第二聚类操作；
其中，第一聚类操作包括步骤：
获取所述到所述基准连线的距离在预设距离范围内的目标代表点中离所述基准连线的距离最短的目标代表点所对应的原始连线；
根据所述基准连线和所述距离最短的目标代表点所对应的原始连线，生成预拟合连线；
输出所述预拟合连线为基准连线；
第二聚类操作包括步骤：
输出所述预拟合连线为拟合连线。
在一种实施方式中，聚类模块603以其中一条原始连线为基准连线。
在一种实施方式中，聚类模块603在所述基准连线为空时，以上一图像帧的对应位置的拟合连线作为基准连线。
在一种实施方式中，定位模块605还用于舍弃由不大于预设数量阈值的原始连线聚类而得到的拟合连线。
实施例四
与实施例二的方法对应，本发明还提供一种多目标跟踪装置，包括：
获取模块，获取视频中的第一图像帧和第二图像帧；
所述获取模块，还用于获取第一图像帧和第二图像帧的目标对象的定位结果，其中，所述目标对象的定位结果采用实施例三所述的目标定位装置得到；
配对模块，用于根据所述目标对象的定位结果配对第一图像帧和第二图像帧中的目标对象。
本实施例中利用阵列中人物的位置是一定的这个特点，因此根据目标对象的定位结果就可以配对各个图像帧中的目标对象，即完成了对目标对象的跟踪。本实施例的方法对检测的帧率没有要求，极大的降低了检测设备的硬件性能要求。
实施例五
本发明实施例还提供了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的目标定位方法或多目标跟踪方法。
本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、编码器及存储在存储器上并可在编码器上运行的计算机程序，其中，编码器执行程序时实现如上述各实施例中的任意一种目标定位方法或多目标跟踪方法。
上述计算机设备，通过透视的方法，得出视频帧中当前的座位分布，再将座位与视频中的目标对象对应起来，得到目标对象在哪个座位上，从而得到目标对象的座位定位结果。继而利用阵列中人物的位置是一定的这个特点，根据目标对象的定位结果配对各个图像帧中的目标对象，完成了对目标对象的跟踪。本实施例通过简单的方法实时定位出视频图像帧中的人物位于队列中的位置，对性能的要求不高，适用性强。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (11)
1.一种目标定位方法，其特征在于，包括步骤：
获取图像帧、所述图像帧中的目标代表点集合、所述图像帧中基于目标对象的第一延伸方向上的第一灭点；
其中，所述目标代表点为对图像帧进行目标对象检测后得到的代表该目标对象的点；
基于所述目标代表点集合，连接目标代表点和所述第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合；
对第一原始连线集合进行聚类，得到第一拟合连线集合；
在所述图像帧中基于目标对象的第二延伸方向上具有第二灭点时，执行第一操作，得到第二拟合连线集合；
基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果；
其中，所述第一操作包括步骤：
获取所述第二灭点；
基于所述目标代表点集合，连接目标代表点和所述第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；
对第二原始连线集合进行聚类，得到第二拟合连线集合。
2.根据权利要求1所述的目标定位方法，其特征在于，还包括步骤：
在所述图像帧中基于学生座位的第二延伸方向上不具有第二灭点时，执行第二操作，得到第二拟合连线集合；
其中，所述第二操作包括步骤：
对所述目标代表点集合进行聚类，得到在第二延伸方向上的第二拟合连线集合。
3.根据权利要求1所述的目标定位方法，其特征在于，所述对第一原始连线集合进行聚类的过程和/或对第二原始连线集合进行聚类的过程中，包括步骤：
获取基准连线；
获取到所述基准连线的距离在预设距离范围内的目标代表点；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目不为0时，执行第一聚类操作；
在所述到所述基准连线的距离在预设距离范围内的目标代表点的数目为0时，执行第二聚类操作；
其中，第一聚类操作包括步骤：
获取所述到所述基准连线的距离在预设距离范围内的目标代表点中离所述基准连线的距离最短的目标代表点所对应的原始连线；
根据所述基准连线和所述距离最短的目标代表点所对应的原始连线，生成预拟合连线；
输出所述预拟合连线为基准连线；
第二聚类操作包括步骤：
输出所述预拟合连线为拟合连线。
4.根据权利要求3所述的目标定位方法，其特征在于，初始化时，以其中一条原始连线为基准连线。
5.根据权利要求3所述的目标定位方法，其特征在于，初始化时，以上一图像帧的对应位置的拟合连线作为基准连线。
6.根据权利要求1-5中任一项所述的目标定位方法，其特征在于，还包括步骤：
舍弃由不大于预设数量阈值的原始连线聚类而得到的拟合连线。
7.一种多目标跟踪方法，其特征在于，包括步骤：
获取视频中的第一图像帧和第二图像帧，获取第一图像帧和第二图像帧的目标对象的定位结果；
其中，所述目标对象的定位结果通过如上述权利要求1至6中任一项所述的方法得到；
根据所述目标对象的定位结果配对第一图像帧和第二图像帧中的目标对象。
8.一种目标定位装置，其特征在于，包括：
获取模块，用于获取图像帧、所述图像帧中的目标代表点集合、所述图像帧中基于目标对象的第一延伸方向上的第一灭点；
其中，所述目标代表点为对图像帧进行目标对象检测后得到的代表该目标对象的点；
连线生成模块，用于基于所述目标代表点集合，连接目标代表点和所述第一灭点，得到目标代表点与第一灭点连接的第一原始连线集合；
聚类模块，用于对第一原始连线集合进行聚类，得到第一拟合连线集合；
执行模块，用于在所述图像帧中基于目标对象的第二延伸方向上具有第二灭点时，执行第一操作；
其中，所述第一操作包括步骤：
控制获取模块获取所述第二灭点；
控制连线生成模块基于所述目标代表点集合，连接目标代表点和所述第二灭点，得到目标代表点与第二灭点连接的第二原始连线集合；
控制聚类模块对第二原始连线集合进行聚类，得到第二拟合连线集合；
定位模块，基于第一拟合连线集合和第二拟合连线集合的交点，得到各目标代表点对应的目标对象的定位结果。
9.一种多目标跟踪装置，其特征在于，包括：
获取模块，获取视频中的第一图像帧和第二图像帧；
所述获取模块，还用于获取第一图像帧和第二图像帧的目标对象的定位结果，其中，所述目标对象的定位结果采用权利要求8所述的目标定位装置得到；
配对模块，用于根据所述目标对象的定位结果配对第一图像帧和第二图像帧中的目标对象。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111028696.5A CN113689491B (zh) | 2021-09-02 | 2021-09-02 | 目标定位方法、多目标跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111028696.5A CN113689491B (zh) | 2021-09-02 | 2021-09-02 | 目标定位方法、多目标跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689491A CN113689491A (zh) | 2021-11-23 |
| CN113689491B true CN113689491B (zh) | 2023-12-01 |
Family
ID=78585104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111028696.5A Active CN113689491B (zh) | 2021-09-02 | 2021-09-02 | 目标定位方法、多目标跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689491B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6487784B1 (en) * | 2000-06-29 | 2002-12-03 | Jayson J. Powers | Portable drawing board for art students |
| US6514081B1 (en) * | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
| CN1957370A (zh) * | 2004-03-23 | 2007-05-02 | 慧眼3D公司 | 从照相机获取的图片中提取原始数据的方法 |
| CN101833791A (zh) * | 2010-05-11 | 2010-09-15 | 成都索贝数码科技股份有限公司 | 一种单摄像机下的场景建模方法及系统 |
| US7809195B1 (en) * | 2008-09-18 | 2010-10-05 | Ernest Greene | Encoding system providing discrimination, classification, and recognition of shapes and patterns |
| CN101915570A (zh) * | 2010-07-20 | 2010-12-15 | 同济大学 | 一种基于灭点的地面移动测量影像线段自动提取分类方法 |
| JP2013024662A (ja) * | 2011-07-19 | 2013-02-04 | Toyota Infotechnology Center Co Ltd | ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体 |
| CN103206917A (zh) * | 2012-01-11 | 2013-07-17 | 广州市奥威亚电子科技有限公司 | 一种室内定位方法 |
| CN110059611A (zh) * | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
| CN110245611A (zh) * | 2019-06-14 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111652931A (zh) * | 2020-04-09 | 2020-09-11 | 中国科学院空天信息创新研究院 | 一种地理定位方法、装置、设备及计算机可读存储介质 |
| CN111899279A (zh) * | 2020-07-10 | 2020-11-06 | 浙江大华技术股份有限公司 | 一种目标对象的运动速度检测方法及装置 |
| CN111898624A (zh) * | 2020-01-21 | 2020-11-06 | 北京畅行信息技术有限公司 | 定位信息的处理方法、装置、设备及存储介质 |
| CN112232314A (zh) * | 2020-12-11 | 2021-01-15 | 智道网联科技(北京)有限公司 | 一种基于深度学习进行目标检测的车辆控制方法和装置 |
| CN112396887A (zh) * | 2020-10-26 | 2021-02-23 | 华中科技大学 | 基于声源定位和面部检测的pbl课堂记录方法和系统 |
| CN113034541A (zh) * | 2021-02-26 | 2021-06-25 | 北京国双科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101697235B (zh) * | 2009-10-30 | 2013-04-10 | 青岛海信移动通信技术股份有限公司 | 一种透视图生成方法和装置 |
| US20140255889A1 (en) * | 2013-03-10 | 2014-09-11 | Edulock, Inc. | System and method for a comprehensive integrated education system |
| US20190381355A1 (en) * | 2018-06-18 | 2019-12-19 | aboutGOLF Global, Inc. | Sport range simulator |
-
2021
- 2021-09-02 CN CN202111028696.5A patent/CN113689491B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6514081B1 (en) * | 1999-08-06 | 2003-02-04 | Jeffrey L. Mengoli | Method and apparatus for automating motion analysis |
| US6487784B1 (en) * | 2000-06-29 | 2002-12-03 | Jayson J. Powers | Portable drawing board for art students |
| CN1957370A (zh) * | 2004-03-23 | 2007-05-02 | 慧眼3D公司 | 从照相机获取的图片中提取原始数据的方法 |
| US7809195B1 (en) * | 2008-09-18 | 2010-10-05 | Ernest Greene | Encoding system providing discrimination, classification, and recognition of shapes and patterns |
| CN101833791A (zh) * | 2010-05-11 | 2010-09-15 | 成都索贝数码科技股份有限公司 | 一种单摄像机下的场景建模方法及系统 |
| CN101915570A (zh) * | 2010-07-20 | 2010-12-15 | 同济大学 | 一种基于灭点的地面移动测量影像线段自动提取分类方法 |
| JP2013024662A (ja) * | 2011-07-19 | 2013-02-04 | Toyota Infotechnology Center Co Ltd | ３次元範囲計測システム、３次元範囲計測プログラムおよび記録媒体 |
| CN103206917A (zh) * | 2012-01-11 | 2013-07-17 | 广州市奥威亚电子科技有限公司 | 一种室内定位方法 |
| CN110059611A (zh) * | 2019-04-12 | 2019-07-26 | 中国石油大学(华东) | 一种智能化教室空余座位识别方法 |
| CN110245611A (zh) * | 2019-06-14 | 2019-09-17 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111898624A (zh) * | 2020-01-21 | 2020-11-06 | 北京畅行信息技术有限公司 | 定位信息的处理方法、装置、设备及存储介质 |
| CN111652931A (zh) * | 2020-04-09 | 2020-09-11 | 中国科学院空天信息创新研究院 | 一种地理定位方法、装置、设备及计算机可读存储介质 |
| CN111899279A (zh) * | 2020-07-10 | 2020-11-06 | 浙江大华技术股份有限公司 | 一种目标对象的运动速度检测方法及装置 |
| CN112396887A (zh) * | 2020-10-26 | 2021-02-23 | 华中科技大学 | 基于声源定位和面部检测的pbl课堂记录方法和系统 |
| CN112232314A (zh) * | 2020-12-11 | 2021-01-15 | 智道网联科技(北京)有限公司 | 一种基于深度学习进行目标检测的车辆控制方法和装置 |
| CN113034541A (zh) * | 2021-02-26 | 2021-06-25 | 北京国双科技有限公司 | 目标跟踪方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Deep Learning based Vehicle Position and Orientation Estimation via Inverse Perspective Mapping Image;Youngseok Kim et al.;2019 IEEE Intelligent Vehicles Symposium (IV);全文 * |
| 基于场景坐标回归的室内视觉定位研究;李晨旻;中国优秀硕士学位论文全文数据库;全文 * |
| 基于灭点的透视校正和空间定位的方法研究;杜召彬;邹向东;;四川理工学院学报(自然科学版)(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689491A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109359521A (zh) | 基于深度学习的课堂质量双向评估系统 | |
| US20070174272A1 (en) | Facial Recognition in Groups | |
| US10679041B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
| Klein et al. | The Wits Intelligent Teaching System: Detecting student engagement during lectures using convolutional neural networks | |
| US20190034704A1 (en) | Method and apparatus for face classification | |
| CN110222678B (zh) | 一种题目分析方法、系统、可读存储介质及电子设备 | |
| CN113076872B (zh) | 一种智能试卷批改方法 | |
| US11783192B2 (en) | Hybrid deep learning method for recognizing facial expressions | |
| CN111339801A (zh) | 一种人员注意力检测方法、装置、设备及系统 | |
| US11694428B1 (en) | Method for detecting Ophiocephalus argus cantor under intra-class occulusion based on cross-scale layered feature fusion | |
| CN110717058A (zh) | 信息推荐方法及装置、存储介质 | |
| US20230274145A1 (en) | Method and system for symmetric recognition of handed activities | |
| CN110991297A (zh) | 一种基于场景监控的目标定位方法及系统 | |
| CN114926889A (zh) | 作业提交方法、装置、电子设备和存储介质 | |
| CN113689491B (zh) | 目标定位方法、多目标跟踪方法及装置 | |
| CN112954451B (zh) | 视频人物添加信息的方法、装置、设备及存储介质 | |
| CN113705510A (zh) | 目标识别跟踪的方法、装置、设备及存储介质 | |
| CN117218703A (zh) | 智能学情分析方法及系统 | |
| CN105912997A (zh) | 人脸识别的方法及系统 | |
| Yan et al. | Evaluating multi-task learning for multi-view head-pose classification in interactive environments | |
| US11798126B2 (en) | Neural network identification of objects in 360-degree images | |
| CN109584274B (zh) | 一种水下动物的数量及其轨迹的检测方法及设备 | |
| Sarker | A back propagation network for face identification and localization | |
| US10032079B2 (en) | Evaluation of models generated from objects in video | |
| US20210334701A1 (en) | Machine learning method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |