CN117011736A - 一种多目标跟踪方法、装置、设备及可读存储介质 - Google Patents
一种多目标跟踪方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117011736A CN117011736A CN202210470490.6A CN202210470490A CN117011736A CN 117011736 A CN117011736 A CN 117011736A CN 202210470490 A CN202210470490 A CN 202210470490A CN 117011736 A CN117011736 A CN 117011736A
- Authority
- CN
- China
- Prior art keywords
- module
- tracking
- registration
- target
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 238000003672 processing method Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本公开涉及目标跟踪技术领域,尤其涉及一种多目标跟踪方法、装置、设备及可读存储介质。该方法包括:接收跟踪模块发送的第一注册任务的建立请求;将所述第一注册任务的建立请求发送至注册模块;接收所述注册模块的第一反馈信息;若所述注册模块可以执行所述第一注册任务,则建立所述第一注册任务,并将所述第一注册任务发送给所述注册模块。本公开中,通过对识别模块、注册模块和跟踪模块的灵活调度,能够有效利用计算资源,减少各个模块的冗余计算,减少AR相关的应用的卡顿,提高画面的连贯性,从而大幅提升用户体验。
Description
技术领域
本公开涉及目标跟踪技术领域,尤其涉及一种多目标跟踪方法、装置、设备及可读存储介质。
背景技术
多目标跟踪是指在视频中识别与跟踪多个目标。现有多目标跟踪技术大多是单个物体追踪技术的叠加。比如说,一个单目标跟踪算法包含注册模块和跟踪模块,如果想同时跟踪2个目标,那系统里就有2个注册模块和2个跟踪模块。这样做的话各个模块之间会有冗余计算,效率较低。
发明内容
本公开的目的在于提供一种多目标跟踪方法、装置、设备及可读存储介质,以解决上述技术问题之一。
为了实现上述目的,本申请实施例提供了如下技术方案:
第一方面,本公开实施例提供了一种多目标跟踪方法,包括:
接收跟踪模块发送的第一注册任务的建立请求,所述第一注册任务的建立请求包括第一子注册任务的建立请求或第二子注册任务的建立请求,所述第一子注册任务的建立请求为所述跟踪模块收到新的拟跟踪目标时,发出的对所述新的拟跟踪目标的注册任务的建立请求,所述第二子注册任务的建立请求为所述跟踪模块对正在跟踪目标的跟踪状态未达到预设要求时,发出的对所述正在跟踪目标的注册任务的建立请求;
将所述第一注册任务的建立请求发送至注册模块;
接收所述注册模块的第一反馈信息,所述第一反馈信息为所述注册模块是否可以执行所述第一注册任务的信息;
若所述注册模块可以执行所述第一注册任务,则建立所述第一注册任务,并将所述第一注册任务发送给所述注册模块。
第二方面,本公开实施例提供了一种多目标跟踪装置,包括:
第一接收模块,用于接收跟踪模块发送的第一注册任务的建立请求,所述第一注册任务的建立请求包括第一子注册任务的建立请求或第二子注册任务的建立请求,所述第一子注册任务的建立请求为所述跟踪模块收到新的拟跟踪目标时,发出的对所述新的拟跟踪目标的注册任务的建立请求,所述第二子注册任务的建立请求为所述跟踪模块对正在跟踪目标的跟踪状态未达到预设要求时,发出的对所述正在跟踪目标的注册任务的建立请求;
第一发送模块,用于将所述第一注册任务的建立请求发送至注册模块;
第二接收模块,用于接收所述注册模块的第一反馈信息,所述第一反馈信息为所述注册模块是否可以执行所述第一注册任务的信息;
第一计算模块,用于若所述注册模块可以执行所述第一注册任务,则建立所述第一注册任务,并将所述第一注册任务发送给所述注册模块。
第三方面,本公开实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现本公开任意实施例所述的多目标跟踪方法。
第四方面,本公开实施例提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被执行时实现本公开任意实施例所述的多目标跟踪方法。
第五方面,本公开实施例提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机实现上述的多目标跟踪方法。
本公开的有益效果为:本公开中,跟踪模块在建立新的注册任务之前,会先发起该注册任务的建立请求,在收到注册模块可以执行该注册任务时,再发起注册任务,从而实现跟踪模块与注册模块之间的有效灵活的调度。通过对识别模块、注册模块和跟踪模块的灵活调度,能够有效利用计算资源,减少各个模块的冗余计算,减少AR相关的应用的卡顿,提高画面的连贯性,从而大幅提升用户体验。
本公开的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开实施例了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1本公开实施例提供的多目标跟踪方法的场景架构示意图;
图2是本公开实施例中所述的一种多目标跟踪方法流程示意图;
图3是本公开实施例中所述的一种多目标跟踪装置结构框图;
图4是本公开实施例中所述的一种电子设备结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号或字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本公开的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在AR相关的应用中,现有多目标跟踪技术大多是单个物体追踪技术的叠加。比如说,一个单目标跟踪算法包含注册模块和跟踪模块,如果想同时跟踪2个目标,那系统里就有2个注册模块和2个跟踪模块。这样做的话各个模块之间会有冗余计算,效率较低。
为了解决上述的技术问题,本公开提供了一种多目标跟踪方法、多目标跟踪装置、电子设备、计算机可读存储介质以及计算机程序产品。本公开实施例所提供的多目标跟踪方法应用于AR系统的多目标跟踪框架。为了实现对目标的跟踪,本公开包括识别模块、注册模块和跟踪模块。识别模块用来从图像中检测出有哪些物体,检测出来之后用被检测出来的物体的id做标示。注册模块根据识别模块的结果,调用对应物体的算法模型,计算每个被识别出的物体的6DoF pose(六自由度姿态)。跟踪模块使用注册模块计算得到的姿态作为初始值,计算相邻图像帧之间物体的delta pose(相对姿态)。
以下首先对本公开实施例提供的多目标跟踪方法的场景架构进行说明。参照图1所示,本公开实施例提供的多目标跟踪方法的场景架构中包括:调度模块10、识别模块20、注册模块30和跟踪模块40。其中,调度模块10分别与识别模块20、注册模块30和跟踪模块40之间均建立有通信连接。调度模块10用于识别模块20、注册模块30和跟踪模块40之间的任务进行调度。
作为本公开的一示例性实施例,提供了一种多目标跟踪方法,如图2所示,该多目标跟踪方法包括步骤S110、步骤S120、步骤S130和步骤S140。
步骤S110.接收跟踪模块40发送的第一注册任务的建立请求,第一注册任务的建立请求包括第一子注册任务的建立请求或第二子注册任务的建立请求,第一子注册任务的建立请求为跟踪模块40收到新的拟跟踪目标时,发出的对新的拟跟踪目标的注册任务的建立请求,第二子注册任务的建立请求为跟踪模块40对正在跟踪目标的跟踪状态未达到预设要求时,发出的对正在跟踪目标的注册任务的建立请求;
跟踪模块40中已经有跟踪任务时,该跟踪任务会在每一帧中连续执行,当跟踪模块40收到调度模块10发送的新建注册任务时,不会立即生成注册任务,而是会新建一个注册任务的建立请求,并将这个注册任务的建立请求发送给调度模块10。其中,第一子注册任务的建立请求为跟踪模块40在收到调度模块10发送的对新的目标进行跟踪的命令后,跟踪模块40发送给调度模块10的注册任务建立请求。第二子注册任务的建立请求为跟踪模块40在关键帧时发送给调度模块10的注册任务建立请求。
跟踪模块40根据每个目标的跟踪状态来判断是否需要通知调度模块10发起新的注册任务。如果跟踪状态较好,比如跟踪目标上的特征点数量大于一定阈值,则不需要通知;反之则需要通知。
关键帧是由跟踪模块40的跟踪算法自己决定的。一般来说,如果跟踪算法跟踪上的点数变少时,就会把当前帧作为关键帧,并在该帧上提取新的跟踪特征点。如果跟踪算法发现目标移动距离过大,一般也会把当前帧当作关键帧。对于关键帧更多的概念、选择方法等,可以参考一些比较经典的SLAM算法,比如SVO,ORB-SLAM等。
步骤S120.将第一注册任务的建立请求发送至注册模块30;
调度模块10收到跟踪模块40发送的第一注册任务的建立请求后,将其转发给注册模块30,询问注册模块30是否能够执行该注册任务。注册任务会根据该注册任务的情况以及注册模块30自身的繁忙情况,判断是否执行该注册任务,比如注册模块30可能会因为跟踪模块40的跟踪结果较为准确而认为不需要通过注册来矫正位姿,或者注册模块30正在执行物体增删为了数据同步需要暂停新任务执行。其中,注册模块30在判断跟踪模块40的跟踪结果是否准确时,从跟踪模块40那里获取目标当前的跟踪姿态。如果注册模块30中的注册算法计算得到的目标的姿态和该目标的跟踪姿态差别小于一定阈值,则认为准确跟踪结果较为准确。矫正位姿为:注册模块30把注册得到的目标的姿态发送给跟踪模块40,跟踪模块40把对应目标的跟踪姿态替换成注册得到的姿态。
步骤S130.接收注册模块30的第一反馈信息,第一反馈信息为注册模块30是否可以执行第一注册任务的信息;
如果注册模块30可以执行该注册任务,则把可以该注册任务建立的信息发送给调度模块10;如果注册模块30不允许执行该注册任务,则把不允许该注册任务建立的信息发送给调度模块10。
步骤S140.若注册模块30可以执行第一注册任务,则建立第一注册任务,并将第一注册任务发送给注册模块30。
若调度模块10收到的第一反馈信息的内容为注册模块30不允许执行该注册任务,则不建立该注册任务。只有在调度模块10收到的第一反馈信息的内容为注册模块30允许执行该注册任务时,才建立该注册任务。建立该注册任务后,调度模块10把建立的第一注册任务发送给注册模块30执行。
通过调度模块10对跟踪模块40和注册模块30的调度,可以灵活调度跟踪模块40和注册模块30之间的资源,提高跟踪模块40和注册模块30的运行效率。
可选的,步骤S140之后,还可以包括步骤S150和步骤S160。
步骤S150.接收注册模块30发送的第一姿态信息,第一姿态信息为注册模块30完成第一注册任务后发送的第一注册任务中拟注册目标的姿态信息;
当注册模块30收到调度模块10发送的第一注册任务时,开始执行该第一注册任务,执行完毕之后,把该目标的姿态信息发送给调度模块10。
步骤S160.将第一姿态信息发送给跟踪模块40,以便跟踪模块40对拟注册目标执行跟踪任务。
调度模块10在收到注册模块30在注册任务执行完毕后发送的目标的姿态信息后,将该目标的姿态信息发送给跟踪模块40,跟踪模块40根据该目标在当前帧的姿态信息执行跟踪任务。
可选的,步骤S140之后,还可以包括步骤S170、步骤S180、和步骤S190。
步骤S170.接收注册模块30发送的第二反馈信息,第二反馈信息为注册模块30在当前时刻未执行第一注册任务时发出;
调度模块10将注册任务发送给注册模块30后,调度模块10在每帧通知跟踪模块40注册任务的完成情况,而不是在注册完成之后通知一次。因为跟踪模块40要求发起的注册任务,可能注册模块30根本没有执行,需要把这类信息反馈给跟踪模块40。
步骤S180.将第二反馈信息发送给跟踪模块40;
调度模块10收到第二反馈信息后,将其转发给跟踪模块40,以通知跟踪模块40该注册任务是否被注册模块30执行。
步骤S190.接收跟踪模块40发送的第二注册任务的建立请求,第二注册任务的建立请求为跟踪模块40发送的对拟注册目标的下一次注册任务的建立请求。
当跟踪模块40收到调度模块10通知的该注册任务没有被注册模块30执行的通知后,在下一帧发起下一次注册任务。
可选的,多目标跟踪方法还可以包括步骤S1100、步骤S1110和步骤S1120。步骤S1100与步骤S100至步骤S190之间,没有先后顺序,步骤S1100可以在步骤S100至步骤S190之间的任意一个步骤的前方或后方执行。
步骤S1100.调度模块10向注册模块30发送跟踪目标删除询问信息,跟踪目标删除询问信息为询问注册模块30是否有待删除的跟踪目标;
因为同时有多个注册任务异步执行,为了提高效率,各个注册任务之间没有通信,所以调度模块10会在每帧询问注册模块30是否有需要删除的目标,而不是注册模块30主动通知调度模块10。其中,将跟踪目标删除的意思为不再对这个目标进行注册和跟踪。由注册模块30来决定是否需要从调度模块10中删除目标。
如果注册模块30发现多次注册不成功,则认为这个目标已经移出画面,则不再需要对这个目标进行注册和跟踪。删除目标由注册模块30决定而不是识别模块20决定的原因在于识别模块20的识别任务间隔执行且识别的正确率可能不高,但是如果注册多次不成功则一般可以断定目标已经移除画面。其中,注册模块30注册不成功的次数,可以由注册算法自己来决定,一般取决于注册算法的执行时间长短。如果注册算法执行时间长,则这个次数会少一些,反之则多一些;这个次数没有一个普遍的数值。这个取决于注册算法本身。注册模块30判断注册是否成功的方法可以取决于注册算法自己的逻辑,比如说,可以用PnP之后的inlier数量多少,即数量是否大于某个阈值来判断注册是否成功。
步骤S1110.接收第三反馈信息,第三反馈信息在注册模块30响应跟踪目标删除询问信息后发出;
注册模块30在收到调度模块10发送的跟踪目标删除询问信息后,若有删除的目标,则将删除的目标发送给调度模块10。
步骤S1120.若第三反馈信息中有待删除的跟踪目标,则将待删除的跟踪目标发送至跟踪模块40,以便跟踪模块40对待删除的跟踪目标进行删除。
调度模块10在收到注册模块30反馈有需要删除的目标后,将该目标发送给跟踪模块40,跟踪模块40则将该目标进行删除。
可选的,步骤S1120后,还可以包括步骤S1130和步骤S1140。
步骤S1130.调度模块10接收跟踪模块40发送的第四反馈信息,第四反馈信息为跟踪模块40完成删除待删除的跟踪目标后发出;
跟踪模块40将待删除的跟踪目标删除后,将删除完成的消息发送给调度模块10。
步骤S1140.收到第四反馈信息后,将待删除的跟踪目标删除。
在跟踪模块40中,把跟踪任务放在子线程异步执行,而不是放在主线程同步执行,是因为这样可以防止跟踪算法计算频率比相机帧率(比如30FPS)低时,导致主线程卡顿,在AR相关的应用里,如果主线程卡顿,则渲染的模型也会卡顿,用户会看到不连贯的画面,影响体验。因为异步执行的任务需要在特定的时间点和主线程做信息同步,而不是主线程在任何时候给通知子线程都能立刻响应。所以调度模块10需要在跟踪模块40将待删除的目标删除后,再将待删除的目标删除。
可选的,在包括步骤S110之前,还可以包括步骤S1150和步骤S1160。
步骤S1150.接收识别模块20发送的新的拟跟踪目标的信息,新的拟跟踪目标在识别模块20收到新的一帧视频画面后发出;
识别模块20按照固定策略间断执行,返回新识别出来的目标,其中固定策略可以是间隔固定帧,或者在还没识别出任何目标时,以较高频率执行,在已经识别出至少一个目标后,就降低执行频率。间隔固定帧为可以是每1秒执行一次。一般手机相机的帧率是30FPS,所以多每1秒执行一次,就是就是每隔30帧执行一次。之所选择较低频率,是因为一般识别算法计算量较大,如果高频执行,会让手机快速发烫,掉电速度变快。
步骤S1160.将新的拟跟踪目标的信息发送至跟踪模块40。
当发现新识别出了一个目标后,就将这个目标加入到调度模块10中,开始对这个目标进行注册、跟踪。步骤S1160之后,可以继续执行步骤S110。
基于同一发明构思,作为对上述方法的实现,本公开实施例还提供了一种多目标跟踪装置,该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的多目标跟踪装置能够对应实现前述方法实施例中的全部内容。
本公开实施例提供了一种多目标跟踪装置,图3为该多目标跟踪装置的结构示意图,如图3所示,该多目标跟踪装置包括:
第一接收模块210,用于接收跟踪模块40发送的第一注册任务的建立请求,第一注册任务的建立请求包括第一子注册任务的建立请求或第二子注册任务的建立请求,第一子注册任务的建立请求为跟踪模块40收到新的拟跟踪目标时,发出的对新的拟跟踪目标的注册任务的建立请求,第二子注册任务的建立请求为跟踪模块40对正在跟踪目标的跟踪状态未达到预设要求时,发出的对正在跟踪目标的注册任务的建立请求;
第一发送模块220,用于将第一注册任务的建立请求发送至注册模块30;
第二接收模块230,用于接收注册模块30的第一反馈信息,第一反馈信息为注册模块30是否可以执行第一注册任务的信息;
第一计算模块240,用于若注册模块30可以执行第一注册任务,则建立第一注册任务,并将第一注册任务发送给注册模块30。
可选的,装置还可以包括:
第三接收模块250,用于接收注册模块30发送的第一姿态信息,第一姿态信息为注册模块30完成第一注册任务后发送的第一注册任务中拟注册目标的姿态信息;
第二发送模块260,用于将第一姿态信息发送给跟踪模块40,以便跟踪模块40对拟注册目标执行跟踪任务。
可选的,装置还可以包括:
第四接收模块270,用于接收注册模块30发送的第二反馈信息,第二反馈信息为注册模块30在当前时刻未执行第一注册任务时发出;
第三发送模块280,用于将第二反馈信息发送给跟踪模块40;
第五接收模块290,用于接收跟踪模块40发送的第二注册任务的建立请求,第二注册任务的建立请求为跟踪模块40发送的对拟注册目标的下一次注册任务的建立请求。
可选的,装置还可以包括:
第四发送模块2100,用于向注册模块30发送跟踪目标删除询问信息,跟踪目标删除询问信息为询问注册模块30是否有待删除的跟踪目标;
第六接收模块2110,用于接收第三反馈信息,第三反馈信息在注册模块30响应跟踪目标删除询问信息后发出;
第五发送模块2120,用于若第三反馈信息中有待删除的跟踪目标,则将待删除的跟踪目标发送至跟踪模块40,以便跟踪模块40对待删除的跟踪目标进行删除。
可选的,装置还可以包括:
第七接收模块2130,用于接收跟踪模块40发送的第四反馈信息,第四反馈信息为跟踪模块40完成删除待删除的跟踪目标后发出;
第二计算模块2140,用于收到第四反馈信息后,将待删除的跟踪目标删除。
可选的,装置还可以包括:
第八接收模块2150,用于接收识别模块20发送的新的拟跟踪目标的信息,新的拟跟踪目标在识别模块20收到新的一帧视频画面后发出;
第六发送模块2160,用于将新的拟跟踪目标的信息发送至跟踪模块40。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
相应于上面的方法实施例,本公开实施例还提供了一种电子设备,下文描述的一种电子设备与上文描述的一种多目标跟踪方法和显示处理方法可相互对应参照。
请参阅图4,该电子设备300可以包括:处理器301,存储器302。该电子设备300还可以包括多媒体组件303,输入/输出(I/O)接口304,以及通信组件305中的一者或多者。
其中,处理器301用于控制该电子设备300的整体操作,以完成上述的多目标跟踪方法和显示处理方法中的全部或部分步骤。存储器用于存储各种类型的数据以支持在该电子设备300的操作,这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(NearFieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件305可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的多目标跟踪方法或显示处理方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的多目标跟踪方法的步骤或显示处理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器302,上述程序指令可由电子设备300的处理器301执行以完成上述的多目标跟踪方法或显示处理方法。
相应于上面的方法实施例,本公开实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种多目标跟踪方法或显示处理方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的多目标跟踪方法的步骤或显示处理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
相应于上述方法实施例,本公开实施例还提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明各实施例提供的上述多目标跟踪方法的步骤。
在上述各实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、DSL(Digital Subscriber Line,数字用户线))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD(DigitalVersatile Disc,数字多功能光盘))、或者半导体介质(例如SSD(Solid StateDisk,固态硬盘))等。
以上仅为本公开的优选实施例而已,并不用于限制本公开,对于本领域的技术人员来说,本公开可以有各种更改和变化。凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (15)
1.一种多目标跟踪方法,其特征在于,包括:
接收跟踪模块发送的第一注册任务的建立请求,所述第一注册任务的建立请求包括第一子注册任务的建立请求或第二子注册任务的建立请求,所述第一子注册任务的建立请求为所述跟踪模块收到新的拟跟踪目标时,发出的对所述新的拟跟踪目标的注册任务的建立请求,所述第二子注册任务的建立请求为所述跟踪模块对正在跟踪目标的跟踪状态未达到预设要求时,发出的对所述正在跟踪目标的注册任务的建立请求;
将所述第一注册任务的建立请求发送至注册模块;
接收所述注册模块的第一反馈信息,所述第一反馈信息为所述注册模块是否可以执行所述第一注册任务的信息;
若所述注册模块可以执行所述第一注册任务,则建立所述第一注册任务,并将所述第一注册任务发送给所述注册模块。
2.根据权利要求1所述的多目标跟踪方法,其特征在于,所述将所述第一注册任务发送给所述注册模块之后,还包括:
接收所述注册模块发送的第一姿态信息,所述第一姿态信息为所述注册模块完成所述第一注册任务后发送的所述第一注册任务中拟注册目标的姿态信息;
将所述第一姿态信息发送给所述跟踪模块,以便所述跟踪模块对所述拟注册目标执行跟踪任务。
3.根据权利要求1所述的多目标跟踪方法,其特征在于,所述将所述第一注册任务发送给所述注册模块后,还包括:
接收所述注册模块发送的第二反馈信息,所述第二反馈信息为所述注册模块在当前时刻未执行所述第一注册任务时发出;
将所述第二反馈信息发送给所述跟踪模块;
接收所述跟踪模块发送的第二注册任务的建立请求,所述第二注册任务的建立请求为所述跟踪模块发送的对所述拟注册目标的下一次注册任务的建立请求。
4.根据权利要求1所述的多目标跟踪方法,其特征在于,所述方法还包括:
向所述注册模块发送跟踪目标删除询问信息,所述跟踪目标删除询问信息为询问所述注册模块是否有待删除的跟踪目标;
接收第三反馈信息,所述第三反馈信息在所述注册模块响应所述跟踪目标删除询问信息后发出;
若所述第三反馈信息中有所述待删除的跟踪目标,则将所述待删除的跟踪目标发送至所述跟踪模块,以便所述跟踪模块对所述待删除的跟踪目标进行删除。
5.根据权利要求4所述的多目标跟踪方法,其特征在于,所述将所述待删除的跟踪目标发送至所述跟踪模块之后,还包括:
接收所述跟踪模块发送的第四反馈信息,所述第四反馈信息为所述跟踪模块完成删除所述待删除的跟踪目标后发出;
收到所述第四反馈信息后,将所述待删除的跟踪目标删除。
6.根据权利要求1所述的多目标跟踪方法,其特征在于,所述接收跟踪模块发送的第一注册任务的建立请求之前,包括:
接收识别模块发送的所述新的拟跟踪目标的信息,所述新的拟跟踪目标在所述识别模块收到新的一帧视频画面后发出;
将所述新的拟跟踪目标的信息发送至跟踪模块。
7.一种多目标跟踪装置,其特征在于,包括:
第一接收模块,用于接收跟踪模块发送的第一注册任务的建立请求,所述第一注册任务的建立请求包括第一子注册任务的建立请求或第二子注册任务的建立请求,所述第一子注册任务的建立请求为所述跟踪模块收到新的拟跟踪目标时,发出的对所述新的拟跟踪目标的注册任务的建立请求,所述第二子注册任务的建立请求为所述跟踪模块对正在跟踪目标的跟踪状态未达到预设要求时,发出的对所述正在跟踪目标的注册任务的建立请求;
第一发送模块,用于将所述第一注册任务的建立请求发送至注册模块;
第二接收模块,用于接收所述注册模块的第一反馈信息,所述第一反馈信息为所述注册模块是否可以执行所述第一注册任务的信息;
第一计算模块,用于若所述注册模块可以执行所述第一注册任务,则建立所述第一注册任务,并将所述第一注册任务发送给所述注册模块。
8.根据权利要求7所述的多目标跟踪装置,其特征在于,所述装置还包括:
第三接收模块,用于接收所述注册模块发送的第一姿态信息,所述第一姿态信息为所述注册模块完成所述第一注册任务后发送的所述第一注册任务中拟注册目标的姿态信息;
第二发送模块,用于将所述第一姿态信息发送给所述跟踪模块,以便所述跟踪模块对所述拟注册目标执行跟踪任务。
9.根据权利要求7所述的多目标跟踪装置,其特征在于,所述装置还包括:
第四接收模块,用于接收所述注册模块发送的第二反馈信息,所述第二反馈信息为所述注册模块在当前时刻未执行所述第一注册任务时发出;
第三发送模块,用于将所述第二反馈信息发送给所述跟踪模块;
第五接收模块,用于接收所述跟踪模块发送的第二注册任务的建立请求,所述第二注册任务的建立请求为所述跟踪模块发送的对所述拟注册目标的下一次注册任务的建立请求。
10.根据权利要求7所述的多目标跟踪装置,其特征在于,所述装置还包括:
第四发送模块,用于向所述注册模块发送跟踪目标删除询问信息,所述跟踪目标删除询问信息为询问所述注册模块是否有待删除的跟踪目标;
第六接收模块,用于接收第三反馈信息,所述第三反馈信息在所述注册模块响应所述跟踪目标删除询问信息后发出;
第五发送模块,用于若所述第三反馈信息中有所述待删除的跟踪目标,则将所述待删除的跟踪目标发送至所述跟踪模块,以便所述跟踪模块对所述待删除的跟踪目标进行删除。
11.根据权利要求10所述的多目标跟踪装置,其特征在于,所述装置还包括:
第七接收模块,用于接收所述跟踪模块发送的第四反馈信息,所述第四反馈信息为所述跟踪模块完成删除所述待删除的跟踪目标后发出;
第二计算模块,用于收到所述第四反馈信息后,将所述待删除的跟踪目标删除。
12.根据权利要求7所述的多目标跟踪装置,其特征在于,所述装置还包括:
第八接收模块,用于接收识别模块发送的所述新的拟跟踪目标的信息,所述新的拟跟踪目标在所述识别模块收到新的一帧视频画面后发出;
第六发送模块,用于将所述新的拟跟踪目标的信息发送至跟踪模块。
13.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至6任一项所述多目标跟踪方法的步骤。
14.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述多目标跟踪方法的步骤。
15.一种计算机程序产品,其特征在于:当所述计算机程序产品在计算机上运行时,使得所述计算机实现如权利要求1-6任一项所述的多目标跟踪方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210470490.6A CN117011736A (zh) | 2022-04-28 | 2022-04-28 | 一种多目标跟踪方法、装置、设备及可读存储介质 |
PCT/CN2023/087658 WO2023207582A1 (zh) | 2022-04-28 | 2023-04-11 | 一种多目标跟踪方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210470490.6A CN117011736A (zh) | 2022-04-28 | 2022-04-28 | 一种多目标跟踪方法、装置、设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117011736A true CN117011736A (zh) | 2023-11-07 |
Family
ID=88517422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210470490.6A Pending CN117011736A (zh) | 2022-04-28 | 2022-04-28 | 一种多目标跟踪方法、装置、设备及可读存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117011736A (zh) |
WO (1) | WO2023207582A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1010222A (ja) * | 1996-06-19 | 1998-01-16 | Mitsubishi Heavy Ind Ltd | 複数目標連続追跡装置 |
CN106971401B (zh) * | 2017-03-30 | 2020-09-25 | 联想(北京)有限公司 | 多目标跟踪装置和方法 |
CN112183162A (zh) * | 2019-07-04 | 2021-01-05 | 北京航天长峰科技工业集团有限公司 | 一种监控场景下人脸自动注册识别系统及方法 |
CN111738053B (zh) * | 2020-04-15 | 2022-04-01 | 上海摩象网络科技有限公司 | 一种跟踪对象确定方法、设备和手持相机 |
CN111508001A (zh) * | 2020-04-15 | 2020-08-07 | 上海摩象网络科技有限公司 | 一种跟踪目标的找回方法、设备以及手持相机 |
-
2022
- 2022-04-28 CN CN202210470490.6A patent/CN117011736A/zh active Pending
-
2023
- 2023-04-11 WO PCT/CN2023/087658 patent/WO2023207582A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023207582A1 (zh) | 2023-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220004469A1 (en) | Method for primary-backup server switching, and control server | |
WO2019218885A1 (zh) | 应用程序预加载方法以及装置、存储介质及智能终端 | |
CN111369590A (zh) | 多目标跟踪方法、装置、存储介质及电子设备 | |
US10931755B2 (en) | Method and apparatus for managing a shared storage system | |
CN105930213B (zh) | 应用运行方法及装置 | |
CN110022260B (zh) | 一种跨环境回执消息处理方法及系统 | |
JP2016537752A (ja) | ファイルバックアップ、及びファイルバックアップ装置、プログラム及び記録媒体 | |
CN105631803A (zh) | 滤镜处理的方法和装置 | |
CN110008037A (zh) | 消息处理方法、装置及存储介质 | |
CN112506553A (zh) | 服务网格的数据面容器的升级方法、装置及电子设备 | |
CN112965799B (zh) | 任务状态的提示方法、装置、电子设备和介质 | |
CN114373148A (zh) | 云端机器人的建图方法、系统、设备及存储介质 | |
CN117011736A (zh) | 一种多目标跟踪方法、装置、设备及可读存储介质 | |
CN112888026A (zh) | 重定向失败的处理方法、装置、电子设备及可读存储介质 | |
CN111966425A (zh) | 进程清理方法、装置、存储介质及移动终端 | |
CN107463419B (zh) | 应用重启方法、装置及计算机可读存储介质 | |
CN116048757A (zh) | 任务处理方法、装置、电子设备和存储介质 | |
CN115469816A (zh) | 存储器的读写切换方法、装置、设备及存储介质 | |
CN113268179B (zh) | 会话消息处理方法、装置、设备及存储介质 | |
CN113238887A (zh) | 数据处理方法、装置及存储介质 | |
CN113852450A (zh) | 一种消息推送反馈方法、装置、电子设备和存储介质 | |
US20220330108A1 (en) | Method for processing link failure information and electronic device | |
CN114303130A (zh) | 进程优先级控制方法、装置、电子设备及存储介质 | |
CN115937247B (zh) | 对象跟踪的方法、装置和存储介质 | |
WO2022252872A1 (zh) | 设备控制方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |