CN112802066B - 一种基于多轨迹融合的多目标跟踪方法及系统 - Google Patents

Abstract

本发明提供一种基于多轨迹融合的多目标跟踪方法及系统，其中，方法包括：根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个跟踪目标进行跟踪；在跟踪过程中，若对任一跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹。本发明的基于多轨迹融合的多目标跟踪方法及系统，降低了用户在使用球杆击打台球的前后过程中其身体以及球杆会对台球遮挡对轨迹跟踪的影响，提升了轨迹跟踪的完整性。

Description

一种基于多轨迹融合的多目标跟踪方法及系统

技术领域

本发明涉及视频监控技术领域，特别涉及一种基于多轨迹融合的多目标跟踪方法及系统。

背景技术

目前，对台球桌上的台球进行轨迹跟踪多采用图像识别技术，但是，用户在使用球杆击打台球的前后过程中其身体以及球杆会对台球造成不同程度的频繁遮挡，这对轨迹跟踪的完整性造成影响。

发明内容

本发明目的之一在于提供了一种基于多轨迹融合的多目标跟踪方法及系统,通过当对某台球跟踪失败时，将其在跟踪失败前产生的运动轨迹与跟踪失败后又跟踪成功时产生的运动轨迹进行融合，形成一个完整的运动轨迹，降低了用户在使用球杆击打台球的前后过程中其身体以及球杆会对台球遮挡对轨迹跟踪的影响，提升了轨迹跟踪的完整性。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，包括：

根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个跟踪目标进行跟踪；

在跟踪过程中，若对任一跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；

将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，根据用户的操作指令确定多个跟踪目标，具体包括：

获取并显示预设的跟踪目标列表；

接收用户从跟踪目标列表中挑选的多个跟踪目标。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹，具体包括：

获取第一运动轨迹的截止段和截止位置以及第二运动轨迹的起始段和起始位置；

根据预设的方向确定规则基于截止段确定第一方向以及基于起始段确定第二方向；

基于截止位置、第一方向、起始位置和第二方向模拟出对跟踪目标跟踪失败的这段时间内其模拟运动轨迹；

将第一运动轨迹、模拟运动轨迹和第二运动轨迹进行拼接，完成融合。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，还包括：

若无法获取第二运动轨迹，根据截止位置和第一方向判断对应的跟踪目标是否落袋，若落袋，停止对其进行跟踪；

其中，根据截止位置和第一方向判断对应的跟踪目标是否落袋，具体包括：

获取预设的球袋位置区域数据库；

若截止位置落在球袋位置区域数据中任一球袋位置区域且第一方向指向对应的球袋时，确定跟踪目标落袋，否则未落袋。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，还包括：

若对任一跟踪目标跟踪失败的次数激增时，触发自适应跟踪模式；

其中，触发自适应跟踪模式，具体包括：

将任一跟踪目标作为预调整目标；

获取预调整目标的实时速度和跟踪等级；

获取预设的适宜速度区间数据库中与跟踪等级对应的适宜速度区间；

基于实时速度和适宜速度区间计算预调整目标的调整需求度：

其中，p为调整需求度，v为实时速度，α和β分别为适宜速度区间的下限值和上限值，f为预设的需求度函数，e₁、e₂和e₃为预设的权重值；

当调整需求度大于等于预设的需求度阈值时，基于实时速度对跟踪等级进行调整：

其中，γ为调整后的跟踪等级，n的初始值为0，依次增加1，g为预设的适宜跟踪等级确定函数，g(v)为实时速度对应的适宜跟踪等级，N为跟踪等级名额确定函数，N[g(v)+n]为跟踪等级为g(v)+n时对应的名额数，min为取极小值函数，max为取极大值函数。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，还包括：

将对各跟踪目标进行跟踪的过程输出至AR设备；

其中，将对各跟踪目标进行跟踪的过程输出至AR设备，具体包括：

获取预设的台球桌桌面模型；

将任一跟踪目标作为预表示目标；

获取预表示目标的实时运动轨迹；

获取预设的台球模型数据数据库，确定台球模型数据库中与预表示目标对应的台球模型；

将台球模型与实时运动轨迹匹配后再台球桌桌面模型上的相应位置进行表示；

方法还包括：

输出至AR设备的过程中，接收用户输入的全局跟踪指令，触发全局跟踪模式；

其中，触发全局跟踪模式，具体包括：

调整AR设备的视角至预设的第一视角；

当确定对任一跟踪目标进行跟踪的过程中其发生移动时，调整AR设备的视角至预设的第二视角，统计接下来的任一时刻各跟踪目标的移动方向指向预设的第一方向区域的第一数量、指向预设的第二方向区域的第二数量、指向预设的第三方向的第三数量和质量预设的第四方向的第四数量；

当第一数量、第二数量、第三数量和第四数量中存在最大值时，若最大值的个数为1，选取最大值作为目标数量或若最大值的个数大于等于2时，选取任一最大值作为目标数量；

确定目标数量对应的移动方向所在的方向区域并将其作为目标方向区域；

获取预设的目标视角数据库中与目标方向区域对应的目标视角，调整AR设备的视角从第二视角移动至目标视角，移动速度根据下式确定：

其中，V为确定后的移动速度，V₀为预设的初始移动速度，N_i为第i数量，i＝1，2，3，4分别代表第一数量、第二数量、第三数量和第四数量，max(N_i)为第i数量中的最大值即目标数量，θ₁为第二视角的角度，θ₂为目标视角的角度，σ₁、σ₂和σ₃为预设的权重值，N₀为预设的数量阈值。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪系统，包括：

确定与跟踪模块，用于根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个跟踪目标进行跟踪；

获取模块，用于在跟踪过程中，若对任一跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；

轨迹融合模块，用于将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪系统，确定与跟踪模块执行包括如下操作：

获取并显示预设的跟踪目标列表；

接收用户从跟踪目标列表中挑选的多个跟踪目标。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪系统，轨迹融合模块执行包括如下操作：

获取第一运动轨迹的截止段和截止位置以及第二运动轨迹的起始段和起始位置；

根据预设的方向确定规则基于截止段确定第一方向以及基于起始段确定第二方向；

基于截止位置、第一方向、起始位置和第二方向模拟出对跟踪目标跟踪失败的这段时间内其模拟运动轨迹；

将第一运动轨迹、模拟运动轨迹和第二运动轨迹进行拼接，完成融合。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪系统，还包括：

判断与执行模块，用于若无法获取第二运动轨迹，根据截止位置和第一方向判断对应的跟踪目标是否落袋，若落袋，停止对其进行跟踪；

其中，判断与执行模块执行包括如下操作：

获取预设的球袋位置区域数据库；

若截止位置落在球袋位置区域数据中任一球袋位置区域且第一方向指向对应的球袋时，确定跟踪目标落袋，否则未落袋。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种基于多轨迹融合的多目标跟踪方法的流程图；

图2为本发明实施例中一种基于多轨迹融合的多目标跟踪系统的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪方法，如图1所示，包括：

S1、根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个跟踪目标进行跟踪；

S2、在跟踪过程中，若对任一跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；

S3、将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹。

上述技术方案的工作原理为：

通过摄像机采集台球桌桌面的视频图像，基于图像识别技术识别该视频图像中每帧图像上每个跟踪目标(即台球)的位置，跟踪过程中，在跟踪目标的多个位置之间连线则构成运动轨迹；若对某跟踪目标跟踪失败时(例如：其可能被球杆短时间遮挡)，将跟踪失败前对其进行跟踪时预设的第一时间段(例如：0.5秒)产生的轨迹与跟踪失败后又重新跟踪成功时(即球杆移开，未对其造成遮挡)预设的第二时间段(例如：0.5秒)内产生的运动轨迹融合为一体作为该台球的运动轨迹。

上述技术方案的有益效果为：本发明实施例通过当对某台球跟踪失败时，将其在跟踪失败前产生的运动轨迹与跟踪失败后又跟踪成功时产生的运动轨迹进行融合，形成一个完整的运动轨迹，降低了用户在使用球杆击打台球的前后过程中其身体以及球杆会对台球遮挡对轨迹跟踪的影响，提升了轨迹跟踪的完整性。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪方法，根据用户的操作指令确定多个跟踪目标，具体包括：

获取并显示预设的跟踪目标列表；

接收用户从跟踪目标列表中挑选的多个跟踪目标。

上述技术方案的工作原理为：

预设的跟踪目标列表具体为：台球列表，其上有每个台球的花色和数字；用户可通过操作智能设备(智能手机、电脑和平板等)进行挑选，挑选的个数最低为2个。

上述技术方案的有益效果为：本发明实施例提供跟踪目标列表供用户挑选。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪方法，将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹，具体包括：

获取第一运动轨迹的截止段和截止位置以及第二运动轨迹的起始段和起始位置；

根据预设的方向确定规则基于截止段确定第一方向以及基于起始段确定第二方向；

基于截止位置、第一方向、起始位置和第二方向模拟出对跟踪目标跟踪失败的这段时间内其模拟运动轨迹；

将第一运动轨迹、模拟运动轨迹和第二运动轨迹进行拼接，完成融合。

上述技术方案的工作原理为：

截止段具体为：一段运动轨迹的末尾段(例如：最后0.1秒产生的运动轨迹)；截止位置具体为：一段运动轨迹的结束位置；起始段具体为：一段运动轨迹的开始段(例如：前0.1秒产生的运动轨迹)；起始位置具体为：一段运动轨迹的开始位置；预设的方向确定规则具体为：某段轨迹中各位置点的形成方向则为运动方向；根据截止位置、第一方向、起始位置和第二方向模拟出模拟运动轨迹具体为：以截止位置为原点在第一方向上发射一射线，以起始位置为原点在第二方向的相反方向上发射另一射线，若两条射线重合，说明台球在跟踪失败的这段时间内做直线运动，模拟出直线即可；若两条射线相交，说明台球在该段时间内与某球碰撞或与球桌边沿碰撞，交点则为转折点，轨迹则剔除发射方向上交点之外的部分；若截止位置和起始位置相同且第一方向和第二方向相同，则台球在该段时间段内处于静止状态；将第一运动轨迹的末尾与模拟运动轨迹的开头拼接，将模拟运动轨迹的末尾与第二运动轨迹的开头拼接，完成融合。

上述技术方案的有益效果为：本发明实施例将第一运动轨迹和第二运动轨迹进行融合，形成一个完整的运动轨迹，降低了在使用图像识别技术对台球桌上的台球机械能轨迹跟踪时跟踪丢失的影响。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪方法，还包括：

若无法获取第二运动轨迹，根据截止位置和第一方向判断对应的跟踪目标是否落袋，若落袋，停止对其进行跟踪；

其中，根据截止位置和第一方向判断对应的跟踪目标是否落袋，具体包括：

获取预设的球袋位置区域数据库；

若截止位置落在球袋位置区域数据中任一球袋位置区域且第一方向指向对应的球袋时，确定跟踪目标落袋，否则未落袋。

上述技术方案的工作原理为：

若无法获取第二运动轨迹，则说明台球落袋或可能用户不小心使用球杆遮挡台球的同时台球落袋；预设的位置区域数据库具体为：台球桌上6个球袋的位置区域，一般用坐标区间表示，例如；[33～40,5～8,2～4]，若某台球坐标为[34,6,3]其在该坐标区域内，说明该台球在该位置区域内；若台球在跟踪失败前运动轨迹的方向(第一方向)指向该位置区域对应的球袋时，说明台球落袋；若判断台球未落袋时，则系统可能出现错误，需对用户进行提醒。

上述技术方案的有益效果为：本发明实施例考虑到台球落袋或用户不小心使用球杆遮挡台球的同时，台球落袋时的特殊情况，提升了系统的全面性，同时，落袋的台球则停止对其进行跟踪，减少设备资源的占用程度。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪方法，还包括：

若对任一跟踪目标跟踪失败的次数激增时，触发自适应跟踪模式；

其中，触发自适应跟踪模式，具体包括：

将任一跟踪目标作为预调整目标；

获取预调整目标的实时速度和跟踪等级；

获取预设的适宜速度区间数据库中与跟踪等级对应的适宜速度区间；

基于实时速度和适宜速度区间计算预调整目标的调整需求度：

其中，p为调整需求度，v为实时速度，α和β分别为适宜速度区间的下限值和上限值，f为预设的需求度函数，e₁、e₂和e₃为预设的权重值；

当调整需求度大于等于预设的需求度阈值时，基于实时速度对跟踪等级进行调整：

其中，γ为调整后的跟踪等级，n的初始值为0，依次增加1，g为预设的适宜跟踪等级确定函数，g(v)为实时速度对应的适宜跟踪等级，N为跟踪等级名额确定函数，N[g(v)+n]为跟踪等级为g(v)+n时对应的名额数，min为取极小值函数，max为取极大值函数。

上述技术方案的工作原理为：

激增具体为：跟踪失败的次数大于等于预设次数阈值(例如：5次)；预设的需求度函数具体为：预先根据大量的实验确定在不对台球的跟踪等级进行调整的情况下，函数的自变量对应的轨迹跟踪丢失次数，对丢失次数进行量化，作为数值对应的函数值；预设的适宜跟踪等级确定函数具体为：例如：某台球速度为12km/h，其落在适宜速度区间[10km/h,20km/h]内，该区间对应的跟踪等级为2，则函数值则为2；预设的名额确定函数具体为：例如，若该函数的自变量为跟踪等级2，母球跟踪等级2的剩余分配名额为3，则函数值为3；轨迹长度除以对应时间可以获得台球的实时速度；跟踪等级具体为：跟踪等级越高，分配越多的系统资源供其跟踪用(优先级高)，反之，跟踪等级越低，分配越少的系统资源供其跟踪用(优先级低)；预设的适宜速度区间数据库具体为：多个跟踪等级，每个跟踪等级对应一个适宜速度区间，例如：跟踪等级6，其对应的适宜速度区间为[40km/h，50km/h]；调整需求度越大，则说明台球的速度与其目前的跟踪等级越不匹配(即大于等于预设的需求度阈值例如：80时)，需要进行调整；预先根据系统资源的大小和每个跟踪等级的分配比重确定各跟踪等级的名额，例如：跟踪等级10,2个名额；跟踪等级9,3个名额，以此类推；总体来说，台球的速度越大，需要上调对其的跟踪等级，反之，台球的速度越小，需要下调对其的跟踪等级。

上述技术方案的有益效果为：本发明实施例在对每个台球进行轨迹跟踪的过程中，自适应调整其适宜的跟踪等级，防止由于台球的速度上升，跟踪等级不够造成跟踪丢失的情况，提升了对各台球进行轨迹跟踪的稳定性，用户不必使用资源量大的处理器，节约了设备的投入成本。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪方法，还包括：

将对各跟踪目标进行跟踪的过程输出至AR设备；

其中，将对各跟踪目标进行跟踪的过程输出至AR设备，具体包括：

获取预设的台球桌桌面模型；

将任一跟踪目标作为预表示目标；

获取预表示目标的实时运动轨迹；

获取预设的台球模型数据数据库，确定台球模型数据库中与预表示目标对应的台球模型；

将台球模型与实时运动轨迹匹配后再台球桌桌面模型上的相应位置进行表示；

方法还包括：

在将各跟踪目标进行跟踪的过程输出至AR设备的过程中，接收用户输入的全局跟踪指令，触发全局跟踪模式；

其中，触发全局跟踪模式，具体包括：

调整AR设备的视角至预设的第一视角；

当确定对任一跟踪目标进行跟踪的过程中其发生移动时，调整AR设备的视角至预设的第二视角，统计接下来的任一时刻各跟踪目标的移动方向指向预设的第一方向区域的第一数量、指向预设的第二方向区域的第二数量、指向预设的第三方向的第三数量和质量预设的第四方向的第四数量；

当第一数量、第二数量、第三数量和第四数量中存在最大值时，若最大值的个数为1，选取最大值作为目标数量或若最大值的个数大于等于2时，选取任一最大值作为目标数量；

确定目标数量对应的移动方向所在的方向区域并将其作为目标方向区域；

获取预设的目标视角数据库中与目标方向区域对应的目标视角，调整AR设备的视角从第二视角移动至目标视角，移动速度根据下式确定：

其中，V为确定后的移动速度，V₀为预设的初始移动速度，N_i为第i数量，i＝1，2，3，4分别代表第一数量、第二数量、第三数量和第四数量，max(N_i)为第i数量中的最大值即目标数量，θ₁为第二视角的角度，θ₂为目标视角的角度，σ₁、σ₂和σ₃为预设的权重值，N₀为预设的数量阈值。

上述技术方案的工作原理为：

AR设备具体为AR眼镜等；预设的台球桌桌面模型具体为：一种仿真的台球桌桌面的三维动画；预设的台球模型数据库具体为：预存了大量的台球三维动画，其上附着有花色、数字等；预设的第一视角具体为：在台球桌桌面模型的正上方对准桌面；对任一跟踪目标(即台球)进行跟踪时，可判断其是移动状态还是静止状态；将一个水平面划分成4等分，可以以水平角度区分，预设的第一方向区域为[0°，90°)，预设的第二方向区域为[90°，180°)，预设的第三方向区域为[180°，270°)，预设的第四方向区域为[270°，360°(0°)]，台球的运动方向也可以用角度来表示；预设的第二视角具体为：在台球桌桌面模型的任一侧面对准桌面，也可以用角度表示为水平180°；当落在某一方向区域内的台球移动方向数量最多时，说明视角需向此转移，数量越多、目标视角与第二视角之间相差的角度越大，转移速度越要提升，不能直接切换至目标视角，视觉体验不好；最大值可能有2个或3个，此时，系统随机选取一个即可；例如：母球和某目标球碰撞时，两球做相向运动，此时视角对准任一个台球进入的方向区域对应的目标视角即可；预设的目标视角数据库具体为：预存有4个目标视角，第一方向区域的目标视角为水平45°，第二方向区域的目标视角为水平135°，第三方向区域的目标视角为水平225°，第四方向区域的目标视角为水平315°；预设的数量阈值具体为，例如：3。

上述技术方案的有益效果为：本发明实施例将轨迹跟踪的过程输出至AR眼镜，在保证轨迹跟踪的完整的性的前提下，提升了用户的视觉体验，同时，还可以根据用户的操作触发全局跟踪模式，自适应调整角度，以最适宜的角度供用户观赏台球运动，十分智能化，还可以应用于台球训练复盘。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪系统，如图2所示，包括：

确定与跟踪模块1，用于根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个跟踪目标进行跟踪；

获取模块2，用于在跟踪过程中，若对任一跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；

轨迹融合模块3，用于将第一运动轨迹和第二运动轨迹进行融合作为其新的运动轨迹。

上述技术方案的工作原理为：

通过摄像机采集台球桌桌面的视频图像，基于图像识别技术识别该视频图像中每帧图像上每个跟踪目标(即台球)的位置，跟踪过程中，在跟踪目标的多个位置之间连线则构成运动轨迹；若对某跟踪目标跟踪失败时(例如：其可能被球杆短时间遮挡)，将跟踪失败前对其进行跟踪时预设的第一时间段(例如：0.5秒)产生的轨迹与跟踪失败后又重新跟踪成功时(即球杆移开，未对其造成遮挡)预设的第二时间段(例如：0.5秒)内产生的运动轨迹融合为一体作为该台球的运动轨迹。

上述技术方案的有益效果为：本发明实施例通过当对某台球跟踪失败时，将其在跟踪失败前产生的运动轨迹与跟踪失败后又跟踪成功时产生的运动轨迹进行融合，形成一个完整的运动轨迹，降低了用户在使用球杆击打台球的前后过程中其身体以及球杆会对台球遮挡对轨迹跟踪的影响，提升了轨迹跟踪的完整性。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪系统，确定与跟踪模块1执行包括如下操作：

获取并显示预设的跟踪目标列表；

接收用户从跟踪目标列表中挑选的多个跟踪目标。

上述技术方案的工作原理为：

预设的跟踪目标列表具体为：台球列表，其上有每个台球的花色和数字；用户可通过操作智能设备(智能手机、电脑和平板等)进行挑选，挑选的个数最低为2个。

上述技术方案的有益效果为：本发明实施例提供跟踪目标列表供用户挑选。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪系统，轨迹融合模块3执行包括如下操作：

获取第一运动轨迹的截止段和截止位置以及第二运动轨迹的起始段和起始位置；

根据预设的方向确定规则基于截止段确定第一方向以及基于起始段确定第二方向；

基于截止位置、第一方向、起始位置和第二方向模拟出对跟踪目标跟踪失败的这段时间内其模拟运动轨迹；

将第一运动轨迹、模拟运动轨迹和第二运动轨迹进行拼接，完成融合。

上述技术方案的工作原理为：

截止段具体为：一段运动轨迹的末尾段(例如：最后0.1秒产生的运动轨迹)；截止位置具体为：一段运动轨迹的结束位置；起始段具体为：一段运动轨迹的开始段(例如：前0.1秒产生的运动轨迹)；起始位置具体为：一段运动轨迹的开始位置；预设的方向确定规则具体为：某段轨迹中各位置点的形成方向则为运动方向；根据截止位置、第一方向、起始位置和第二方向模拟出模拟运动轨迹具体为：以截止位置为原点在第一方向上发射一射线，以起始位置为原点在第二方向的相反方向上发射另一射线，若两条射线重合，说明台球在跟踪失败的这段时间内做直线运动，模拟出直线即可；若两条射线相交，说明台球在该段时间内与某球碰撞或与球桌边沿碰撞，交点则为转折点，轨迹则剔除发射方向上交点之外的部分；若截止位置和起始位置相同且第一方向和第二方向相同，则台球在该段时间段内处于静止状态；将第一运动轨迹的末尾与模拟运动轨迹的开头拼接，将模拟运动轨迹的末尾与第二运动轨迹的开头拼接，完成融合。

上述技术方案的有益效果为：本发明实施例将第一运动轨迹和第二运动轨迹进行融合，形成一个完整的运动轨迹，降低了在使用图像识别技术对台球桌上的台球机械能轨迹跟踪时跟踪丢失的影响。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪系统，还包括：

判断与执行模块，用于若无法获取第二运动轨迹，根据截止位置和第一方向判断对应的跟踪目标是否落袋，若落袋，停止对其进行跟踪；

其中，判断与执行模块执行包括如下操作：

获取预设的球袋位置区域数据库；

若截止位置落在球袋位置区域数据中任一球袋位置区域且第一方向指向对应的球袋时，确定跟踪目标落袋，否则未落袋。

上述技术方案的工作原理为：

若无法获取第二运动轨迹，则说明台球落袋或可能用户不小心使用球杆遮挡台球的同时台球落袋；预设的位置区域数据库具体为：台球桌上6个球袋的位置区域，一般用坐标区间表示，例如；[33～40,5～8,2～4]，若某台球坐标为[34,6,3]其在该坐标区域内，说明该台球在该位置区域内；若台球在跟踪失败前运动轨迹的方向(第一方向)指向该位置区域对应的球袋时，说明台球落袋；若判断台球未落袋时，则系统可能出现错误，需对用户进行提醒。

上述技术方案的有益效果为：本发明实施例考虑到台球落袋或用户不小心使用球杆遮挡台球的同时，台球落袋时的特殊情况，提升了系统的全面性，同时，落袋的台球则停止对其进行跟踪，减少设备资源的占用程度。

本发明实施例提供了一种基于多轨迹融合的多目标跟踪系统，还包括：

自适应跟踪模块，用于若对任一跟踪目标跟踪失败的次数激增时，触发自适应跟踪模式；

其中，自适应跟踪模块执行包括如下操作：

将任一跟踪目标作为预调整目标；

获取预调整目标的实时速度和跟踪等级；

获取预设的适宜速度区间数据库中与跟踪等级对应的适宜速度区间；

基于实时速度和适宜速度区间计算预调整目标的调整需求度：

其中，p为调整需求度，v为实时速度，α和β分别为适宜速度区间的下限值和上限值，f为预设的需求度函数，e₁、e₂和e₃为预设的权重值；

当调整需求度大于等于预设的需求度阈值时，基于实时速度对跟踪等级进行调整：

其中，γ为调整后的跟踪等级，n的初始值为0，依次增加1，g为预设的适宜跟踪等级确定函数，g(v)为实时速度对应的适宜跟踪等级，N为跟踪等级名额确定函数，N[g(v)+n]为跟踪等级为g(v)+n时对应的名额数，min为取极小值函数，max为取极大值函数。

上述技术方案的工作原理为：

激增具体为：跟踪失败的次数大于等于预设次数阈值(例如：5次)；预设的需求度函数具体为：预先根据大量的实验确定在不对台球的跟踪等级进行调整的情况下，函数的自变量对应的轨迹跟踪丢失次数，对丢失次数进行量化，作为数值对应的函数值；预设的适宜跟踪等级确定函数具体为：例如：某台球速度为12km/h，其落在适宜速度区间[10km/h,20km/h]内，该区间对应的跟踪等级为2，则函数值则为2；预设的名额确定函数具体为：例如，若该函数的自变量为跟踪等级2，母球跟踪等级2的剩余分配名额为3，则函数值为3；轨迹长度除以对应时间可以获得台球的实时速度；跟踪等级具体为：跟踪等级越高，分配越多的系统资源供其跟踪用(优先级高)，反之，跟踪等级越低，分配越少的系统资源供其跟踪用(优先级低)；预设的适宜速度区间数据库具体为：多个跟踪等级，每个跟踪等级对应一个适宜速度区间，例如：跟踪等级6，其对应的适宜速度区间为[40km/h，50km/h]；调整需求度越大，则说明台球的速度与其目前的跟踪等级越不匹配(即大于等于预设的需求度阈值例如：80时)，需要进行调整；预先根据系统资源的大小和每个跟踪等级的分配比重确定各跟踪等级的名额，例如：跟踪等级10,2个名额；跟踪等级9,3个名额，以此类推；总体来说，台球的速度越大，需要上调对其的跟踪等级，反之，台球的速度越小，需要下调对其的跟踪等级。

上述技术方案的有益效果为：本发明实施例在对每个台球进行轨迹跟踪的过程中，自适应调整其适宜的跟踪等级，防止由于台球的速度上升，跟踪等级不够造成跟踪丢失的情况，提升了对各台球进行轨迹跟踪的稳定性，用户不必使用资源量大的处理器，节约了设备的投入成本。

本发明实施例提供的一种基于多轨迹融合的多目标跟踪系统，还包括：

AR模块，用于将对各跟踪目标进行跟踪的过程输出至AR设备；

其中，将对各跟踪目标进行跟踪的过程输出至AR设备，具体包括：

获取预设的台球桌桌面模型；

将任一跟踪目标作为预表示目标；

获取预表示目标的实时运动轨迹；

获取预设的台球模型数据数据库，确定台球模型数据库中与预表示目标对应的台球模型；

将台球模型与实时运动轨迹匹配后再台球桌桌面模型上的相应位置进行表示；

系统还包括：

触发模块，用于在将各跟踪目标进行跟踪的过程输出至AR设备的过程中，接收用户输入的全局跟踪指令，触发全局跟踪模式；

其中，触发模块执行包括如下操作：

调整AR设备的视角至预设的第一视角；

当确定对任一跟踪目标进行跟踪的过程中其发生移动时，调整AR设备的视角至预设的第二视角，统计接下来的任一时刻各跟踪目标的移动方向指向预设的第一方向区域的第一数量、指向预设的第二方向区域的第二数量、指向预设的第三方向的第三数量和质量预设的第四方向的第四数量；

当第一数量、第二数量、第三数量和第四数量中存在最大值时，若最大值的个数为1，选取最大值作为目标数量或若最大值的个数大于等于2时，选取任一最大值作为目标数量；

确定目标数量对应的移动方向所在的方向区域并将其作为目标方向区域；

获取预设的目标视角数据库中与目标方向区域对应的目标视角，调整AR设备的视角从第二视角移动至目标视角，移动速度根据下式确定：

其中，V为确定后的移动速度，V₀为预设的初始移动速度，N_i为第i数量，i＝1，2，3，4分别代表第一数量、第二数量、第三数量和第四数量，max(N_i)为第i数量中的最大值即目标数量，θ₁为第二视角的角度，θ₂为目标视角的角度，σ₁、σ₂和σ₃为预设的权重值，N₀为预设的数量阈值。

上述技术方案的工作原理为：

AR设备具体为AR眼镜等；预设的台球桌桌面模型具体为：一种仿真的台球桌桌面的三维动画；预设的台球模型数据库具体为：预存了大量的台球三维动画，其上附着有花色、数字等；预设的第一视角具体为：在台球桌桌面模型的正上方对准桌面；对任一跟踪目标(即台球)进行跟踪时，可判断其是移动状态还是静止状态；将一个水平面划分成4等分，可以以水平角度区分，预设的第一方向区域为[0°，90°)，预设的第二方向区域为[90°，180°)，预设的第三方向区域为[180°，270°)，预设的第四方向区域为[270°，360°(0°)]，台球的运动方向也可以用角度来表示；预设的第二视角具体为：在台球桌桌面模型的任一侧面对准桌面，也可以用角度表示为水平180°；当落在某一方向区域内的台球移动方向数量最多时，说明视角需向此转移，数量越多、目标视角与第二视角之间相差的角度越大，转移速度越要提升，不能直接切换至目标视角，视觉体验不好；最大值可能有2个或3个，此时，系统随机选取一个即可；例如：母球和某目标球碰撞时，两球做相向运动，此时视角对准任一个台球进入的方向区域对应的目标视角即可；预设的目标视角数据库具体为：预存有4个目标视角，第一方向区域的目标视角为水平45°，第二方向区域的目标视角为水平135°，第三方向区域的目标视角为水平225°，第四方向区域的目标视角为水平315°；预设的数量阈值具体为，例如：3。

上述技术方案的有益效果为：本发明实施例将轨迹跟踪的过程输出至AR眼镜，在保证轨迹跟踪的完整的性的前提下，提升了用户的视觉体验，同时，还可以根据用户的操作触发全局跟踪模式，自适应调整角度，以最适宜的角度供用户观赏台球运动，十分智能化，，还可以应用于台球训练复盘。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (7)

1.一种基于多轨迹融合的多目标跟踪方法，其特征在于，包括：

根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个所述跟踪目标进行跟踪；

在跟踪过程中，若对任一所述跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对所述跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；

将所述第一运动轨迹和所述第二运动轨迹进行融合作为其新的运动轨迹；

所述将所述第一运动轨迹和所述第二运动轨迹进行融合作为其新的运动轨迹，具体包括：

获取所述第一运动轨迹的截止段和截止位置以及所述第二运动轨迹的起始段和起始位置；

根据预设的方向确定规则基于所述截止段确定第一方向以及基于所述起始段确定第二方向；

基于所述截止位置、第一方向、起始位置和第二方向模拟出对所述跟踪目标跟踪失败的这段时间内其模拟运动轨迹；

将所述第一运动轨迹、模拟运动轨迹和所述第二运动轨迹进行拼接，完成融合。

2.如权利要求1所述的一种基于多轨迹融合的多目标跟踪方法，其特征在于，所述根据用户的操作指令确定多个跟踪目标，具体包括：

获取并显示预设的跟踪目标列表；

接收用户从所述跟踪目标列表中挑选的多个跟踪目标。

3.如权利要求1所述的一种基于多轨迹融合的多目标跟踪方法，其特征在于，还包括：

若无法获取所述第二运动轨迹，根据所述截止位置和所述第一方向判断对应的所述跟踪目标是否落袋，若落袋，停止对其进行跟踪；

其中，根据所述截止位置和所述第一方向判断对应的所述跟踪目标是否落袋，具体包括：

获取预设的球袋位置区域数据库；

若所述截止位置落在所述球袋位置区域数据中任一球袋位置区域且所述第一方向指向对应的球袋时，确定所述跟踪目标落袋，否则未落袋。

4.如权利要求1所述的一种基于多轨迹融合的多目标跟踪方法，其特征在于，还包括：

将对各所述跟踪目标进行跟踪的过程输出至AR设备；

其中，将对各所述跟踪目标进行跟踪的过程输出至AR设备，具体包括：

获取预设的台球桌桌面模型；

将任一所述跟踪目标作为预表示目标；

获取所述预表示目标的实时运动轨迹；

获取预设的台球模型数据数据库，确定所述台球模型数据库中与所述预表示目标对应的台球模型；

将所述台球模型与所述实时运动轨迹匹配后在所述台球桌桌面模型上的相应位置进行表示；

所述方法还包括：

输出至AR设备的过程中，接收用户输入的全局跟踪指令，触发全局跟踪模式；

其中，触发全局跟踪模式，具体包括：

调整所述AR设备的视角至预设的第一视角；

当确定对任一所述跟踪目标进行跟踪的过程中其发生移动时，调整所述AR设备的视角至预设的第二视角，统计接下来的任一时刻各所述跟踪目标的移动方向指向预设的第一方向区域的第一数量、指向预设的第二方向区域的第二数量、指向预设的第三方向的第三数量和质量预设的第四方向的第四数量；

当所述第一数量、第二数量、第三数量和第四数量中存在最大值时，若所述最大值的个数为1，选取所述最大值作为目标数量，若所述最大值的个数大于等于2时，选取任一所述最大值作为目标数量；

确定所述目标数量对应的所述移动方向所在的方向区域并将其作为目标方向区域；

获取预设的目标视角数据库中与所述目标方向区域对应的目标视角，调整所述AR设备的视角从所述第二视角移动至所述目标视角，移动速度根据下式确定：

其中，V为确定后的所述移动速度，V₀为预设的初始移动速度，N_i为第i数量，i＝1,2,3,4分别代表第一数量、第二数量、第三数量和第四数量，max(N_i)为第i数量中的最大值即所述目标数量，θ₁为所述第二视角的角度，θ₂为所述目标视角的角度，σ₁、σ₂和σ₃为预设的权重值，N₀为预设的数量阈值。

5.一种基于多轨迹融合的多目标跟踪系统，其特征在于，包括：

确定与跟踪模块，用于根据用户的操作指令确定多个跟踪目标，基于图像识别技术对每个所述跟踪目标进行跟踪；

获取模块，用于在跟踪过程中，若对任一所述跟踪目标跟踪失败时，获取跟踪失败前预设的第一时间段内其产生的第一运动轨迹；获取对所述跟踪目标再次跟踪成功后预设的第二时间段内其产生的第二运动轨迹；

轨迹融合模块，用于将所述第一运动轨迹和所述第二运动轨迹进行融合作为其新的运动轨迹；

所述轨迹融合模块执行包括如下操作：

获取所述第一运动轨迹的截止段和截止位置以及所述第二运动轨迹的起始段和起始位置；

根据预设的方向确定规则基于所述截止段确定第一方向以及基于所述起始段确定第二方向；

基于所述截止位置、第一方向、起始位置和第二方向模拟出对所述跟踪目标跟踪失败的这段时间内其模拟运动轨迹；

将所述第一运动轨迹、模拟运动轨迹和所述第二运动轨迹进行拼接，完成融合。

6.如权利要求5所述的一种基于多轨迹融合的多目标跟踪系统，其特征在于，所述确定与跟踪模块执行包括如下操作：

获取并显示预设的跟踪目标列表；

接收用户从所述跟踪目标列表中挑选的多个跟踪目标。

7.如权利要求5所述的一种基于多轨迹融合的多目标跟踪系统，其特征在于，还包括：

判断与执行模块，用于若无法获取所述第二运动轨迹，根据所述截止位置和所述第一方向判断对应的所述跟踪目标是否落袋，若落袋，停止对其进行跟踪；

其中，所述判断与执行模块执行包括如下操作：

获取预设的球袋位置区域数据库；

若所述截止位置落在所述球袋位置区域数据中任一球袋位置区域且所述第一方向指向对应的球袋时，确定所述跟踪目标落袋，否则未落袋。