CN116843721A - 视频多目标检测关联与轨迹生成方法、装置及电子设备 - Google Patents
视频多目标检测关联与轨迹生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116843721A CN116843721A CN202311083696.4A CN202311083696A CN116843721A CN 116843721 A CN116843721 A CN 116843721A CN 202311083696 A CN202311083696 A CN 202311083696A CN 116843721 A CN116843721 A CN 116843721A
- Authority
- CN
- China
- Prior art keywords
- track
- video
- similarity
- target
- tracks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims description 147
- 230000006870 function Effects 0.000 claims description 67
- 230000008859 change Effects 0.000 claims description 35
- 230000000877 morphologic effect Effects 0.000 claims description 35
- 230000033001 locomotion Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000003190 augmentative effect Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 230000000295 complement effect Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012512 characterization method Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视频多目标检测关联与轨迹生成方法、装置及电子设备，可以应用于计算机视觉技术领域以及图像处理技术领域。该方法包括：将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段；利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹；根据多个第一轨迹，得到多个邻接矩阵；根据多个邻接矩阵，生成与待检测目标对应的第二轨迹。
Description
技术领域
本发明涉及计算机视觉技术领域以及图像处理技术领域，尤其涉及一种视频多目标检测关联与轨迹生成方法、装置及电子设备。
背景技术
相关技术中，利用固定视角的采集装置对目标场景进行采集，得到单一视角的视频。然后对单一视角的视频进行处理，得到与单一视角的视频包括的多个目标分别对应的目标轨迹。
在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：在目标场景较复杂的情况下，根据单一视角的视频得到目标轨迹的准确度低。
发明内容
鉴于上述问题，本发明提供了一种视频多目标检测关联与轨迹生成方法、装置及电子设备。
根据本发明的第一个方面，提供了一种视频多目标检测关联与轨迹生成方法，包括：
将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，上述顶视角视频和上述水平视角视频是对同一目标场景进行同步采集得到的，上述目标场景包括至少一个待检测目标；
利用空间位置重叠策略对上述多个视频片段进行处理，得到与上述待检测目标对应的多个第一轨迹，其中，上述第一轨迹表征第一预设时长内单一视角下每一帧图像中上述待检测目标的位置变化；
根据上述多个第一轨迹，得到多个邻接矩阵，其中，上述邻接矩阵包括上述视频片段在同一相邻时段下的上述第一轨迹之间的连接关系；
根据多个上述邻接矩阵，生成与上述待检测目标对应的第二轨迹，其中，上述第二轨迹表征不同视角下第二预设时长内上述待检测目标的位置变化，其中，上述第二预设时长大于等于上述第一预设时长，上述第二预设时长为上述目标场景的视频采集时长。
根据本发明的实施例，上述根据上述多个第一轨迹，得到多个邻接矩阵包括：
针对上述多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个上述第一轨迹之间的轨迹相似度；
根据上述轨迹相似度，得到权重矩阵，其中，上述权重矩阵包括上述视频片段在同一相邻时段下的上述第一轨迹之间的相似度；
根据上述权重矩阵构建增广拉格朗日函数；
利用交替方向乘子法对上述增广拉格朗日函数进行处理，得到上述邻接矩阵。
根据本发明的实施例，利用交替方向乘子法对上述增广拉格朗日函数进行处理，得到上述邻接矩阵包括：
利用交替方向乘子法对上述增广拉格朗日函数进行处理，得到与上述邻接矩阵相关的第一函数、与辅助变量相关的第二函数和与拉格朗日乘数相关的第三函数；
基于上述第一函数，根据上述权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵，其中，上述邻接矩阵满足对称约束条件，其中，k为大于等于1的整数；
在确定上述第k+1轮的邻接矩阵不满足收敛条件的情况下，基于上述第二函数，根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量；
基于上述第三函数，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数；
根据上述第k+1轮的辅助变量和上述第k+1轮的拉格朗日乘数，返回基于上述第一函数计算邻接矩阵的操作，并递增k；
在确定上述第k+1轮的邻接矩阵满足收敛条件的情况下，得到上述邻接矩阵。
根据本发明的实施例，上述轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度。
根据本发明的实施例，上述针对上述多个视频片段中的每个视频片段在同一相邻时段下的上述第一轨迹，计算任意两个上述第一轨迹之间的轨迹相似度包括：
针对水平视角下的第一轨迹，对上述水平视角下的第一轨迹进行特征提取，得到与上述待检测目标对应的形态特征；
根据上述形态特征，得到与上述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度；
利用恒速运动模型对同一视角下的相邻时段的第一轨迹进行处理，得到跨时段运动位置变化相似度；
利用基于空间位置分布的互补视角关联模型同时对同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹进行处理，得到与每一帧图像对应的目标关联结果；
根据上述目标关联结果，得到上述顶视角下的第一轨迹和上述水平视角下的第一轨迹之间的多视角轨迹相似度。
根据本发明的实施例，上述根据上述形态特征，得到与上述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度包括：
根据上述形态特征，计算同一水平视角下的相邻时段的第一轨迹之间的欧式距离，得到跨时段形态相似度；
根据上述形态特征，针对所有水平视角下的同一时段的第一轨迹，计算任意两个水平视角下的第一轨迹之间的欧式距离，得到跨视角形态相似度。
根据本发明的实施例，上述权重矩阵为对称矩阵，上述根据上述轨迹相似度，得到权重矩阵包括：
将上述权重矩阵中的对称轴上的元素设置为第一预设值；
针对上述权重矩阵中的与同一时段下的任意两个水平视角的上述第一轨迹对应的第一元素，根据上述跨视角形态相似度对上述第一元素进行赋值；
针对上述权重矩阵中的与同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹对应的第二元素，根据上述多视角轨迹相似度对上述第二元素进行赋值；
针对上述权重矩阵中的与同一水平视角下的相邻时段的上述第一轨迹对应的第三元素，根据上述跨时段形态相似度和跨时段运动位置变化相似度对上述第三元素进行赋值；
针对上述权重矩阵中的与同一顶视角下的相邻时段的上述第一轨迹对应的第四元素，根据跨时段运动位置变化相似度对上述第四元素进行赋值。
根据本发明的实施例，上述利用空间位置重叠策略对上述多个视频片段进行处理，得到与上述待检测目标对应的多个第一轨迹包括：
针对上述多个视频片段中的每个视频片段执行以下操作，得到与上述每个视频片段对应的第一轨迹：
利用目标检测网络对上述每个视频片段进行目标检测，得到与上述待检测目标对应的多个目标框；
基于空间位置重叠策略对上述多个目标框进行连接，得到上述与上述每个视频片段对应的第一轨迹。
本发明的第二方面提供了一种视频多目标检测关联与轨迹生成装置，包括：
划分模块，用于将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，上述顶视角视频和上述水平视角视频是对同一目标场景进行同步采集得到的，上述目标场景包括至少一个待检测目标；
第一得到模块，用于利用空间位置重叠策略对上述多个视频片段进行处理，得到与上述待检测目标对应的多个第一轨迹，其中，上述第一轨迹表征第一预设时长内单一视角下每一帧图像中上述待检测目标的位置变化；
第二得到模块，用于根据上述多个第一轨迹，得到多个邻接矩阵，其中，上述邻接矩阵包括上述视频片段在同一相邻时段下的上述第一轨迹之间的连接关系；
生成模块，用于根据多个上述邻接矩阵，生成与上述待检测目标对应的第二轨迹，其中，上述第二轨迹表征不同视角下第二预设时长内上述待检测目标的位置变化，其中，上述第二预设时长大于等于上述第一预设时长，上述第二预设时长为上述目标场景的视频采集时长。
本发明的第三方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。
本发明的第四方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。
本发明的第五方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。
根据本发明的实施例，本发明实施例提供的技术方案可以根据利用空间位置重叠策略对跨视角的多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，然后根据多个第一轨迹，得到多个邻接矩阵，根据多个邻接矩阵，生成与待检测目标对应的第二轨迹的技术方案，实现根据跨视角的多个视频片段得到的多个第一轨迹去得到与待检测目标对应的第二轨迹。由于与单一视角相比，跨视角的多个视频片段包括较多的与待检测目标对应的信息，使得多个第一轨迹包括更多与待检测目标对应的轨迹信息，因此，根据跨视角的多个视频片段得到的多个第一轨迹去得到与待检测目标对应的第二轨迹，会使得第二轨迹更准确。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示出了根据本发明实施例的视频多目标检测关联与轨迹生成方法的应用场景图；
图2示出了根据本发明实施例的视频多目标检测关联与轨迹生成方法的流程图；
图3示出了根据本发明实施例提供的视频图像；
图4示出了根据本发明另一实施例提供的视频多目标检测关联与轨迹生成方法的流程图；
图5示出了根据本发明实施例的视频多目标检测关联与轨迹生成装置的结构框图；以及
图6示出了根据本发明实施例的适于实现视频多目标检测关联与轨迹生成方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
在本发明的技术方案中，所涉及的数据（如包括但不限于用户个人信息）的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
根据本发明的实施例，由于单一视角的视频包括的与目标对应的信息较少，使得在目标场景较复杂的情况下，相关技术根据单一视角的视频得到目标轨迹的准确度低。
根据本发明的实施例，相关技术，在根据单一视角的视频得到目标轨迹，且单一视角为顶视角的情况下，为使顶视角的视频图像包括较多的目标信息，顶视角的采集装置需要与地面有一定的倾斜角，使得采集装置的摆放位置受限。
为了至少部分地解决相关技术中存在的技术问题，本发明的实施例提供了一种视频多目标检测关联与轨迹生成方法、装置、电子设备及存储介质，可以应用于计算机视觉技术领域以及图像处理技术领域。
本发明的实施例提供了一种视频多目标检测关联与轨迹生成方法，包括：将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，顶视角视频和水平视角视频是对同一目标场景进行同步采集得到的，目标场景包括至少一个待检测目标；利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，第一轨迹表征第一预设时长内单一视角下每一帧图像中待检测目标的位置变化；根据多个第一轨迹，得到多个邻接矩阵，邻接矩阵包括视频片段在同一相邻时段下的第一轨迹之间的连接关系；根据多个邻接矩阵，生成与待检测目标对应的第二轨迹，第二轨迹表征不同视角下第二预设时长内待检测目标的位置变化，其中，第二预设时长大于等于第一预设时长，第二预设时长为目标场景的视频采集时长。
图1示出了根据本发明实施例的视频多目标检测关联与轨迹生成方法的应用场景图。
如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。
需要说明的是，本发明实施例所提供的视频多目标检测关联与轨迹生成方法一般可以由服务器105执行。相应地，本发明实施例所提供的视频多目标检测关联与轨迹生成装置一般可以设置于服务器105中。本发明实施例所提供的视频多目标检测关联与轨迹生成方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本发明实施例所提供的视频多目标检测关联与轨迹生成装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景，通过图2~图4对公开实施例的视频多目标检测关联与轨迹生成方法进行详细描述。
图2示出了根据本发明实施例的视频多目标检测关联与轨迹生成方法的流程图。
如图2所示，该实施例的视频多目标检测关联与轨迹生成方法包括操作S210~操作S240。
在操作S210，将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，顶视角视频和水平视角视频是对同一目标场景进行同步采集得到的，目标场景包括至少一个待检测目标。
根据本发明的实施例，顶视角的数量可以根据实际业务情况进行选择，在此不作限定。例如，顶视角的数量可以为1、3或5等。
根据本发明的实施例，水平视角的数量可以根据实际业务情况进行选择，在此不作限定。例如水平视角的数量可以为2、4或5等。
根据本发明的实施例，待检测目标表征待检测的可移动的物体，例如，待检测目标可以为人、车或动物等。
根据本发明的实施例，待检测目标的数量可以根据实际采集的目标场景进行确定，在此不作限定。例如，待检测目标的数量可以为1、3或6等。
根据本发明的实施例，第一预设时长可以根据实际业务情况进行选择，在此不作限定。例如，第一预设时长可以为03s、0.5s或1s等。
根据本发明的实施例，在将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段之前，先获取至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频。
根据本发明的实施例，顶视角视频可以通过与顶视角对应的采集装置对目标场景进行采集得到。
根据本发明的实施例，与顶视角对应的采集装置的摆放位置可以根据实际业务情况进行选择，在此不作限定。例如，与顶视角对应的采集装置的摆放位置可以与地面垂直也可以与地面倾斜一定角度。
根据本发明的实施例，水平视角视频可以通过与水平视角对应的采集装置对目标场景进行采集得到。
根据本发明的实施例，多个水平视角之间的夹角可以根据实际业务情况进行选择，在此不作限定。多个水平视角之间的夹角可以相差较大，即与多个水平视角分别对应的采集装置之间的夹角可以相差较大。
根据本发明的实施例，在可以将与顶视角对应的采集装置（例如）安装在无人机上，将与多个水平视角的采集装置分别安装在多个移动物体（例如人或车）上，对目标场景进行同步采集，得到至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频。
根据本发明的实施例，采集装置例如可以为移动摄像机。与顶视角对应的采集装置和与多个水平视角的采集装置之间无需进行相机标定。
根据本发明的实施例，例如，在顶视角的数量为1，水平视角的数量为2，目标场景的视频采集帧数为1000，帧率为30fps，视频片段的长度为10帧，即第一预设时长为0.3s，的情况下，可以将1个顶视角下的顶视角视频划分为100个视频片段，同时将2个水平视角中的每个水平视角下的水平视角视频划分为100个视频片段，得到300个视频片段。
在操作S220，利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，其中，第一轨迹表征第一预设时长内单一视角下每一帧图像中待检测目标的位置变化。
根据本发明的实施例，空间位置重叠策略可以根据实际业务情况进行选择，在此不作限定。例如，空间位置重叠策略可以为IoU（交并比，Intersection over Union）。
根据本发明的实施例，多个第一轨迹与多个视频片段一一对应。
根据本发明的实施例，空间位置重叠策略可以对多个视频片段中的每个视频片段分别进行处理，得到与每个视频片段分别相关的且与待检测目标对应的第一轨迹。
根据本发明的实施例，例如，在待检测目标的数量为2个，2个待检测目标分别为第一待检测目标和第二待检测目标的情况下，空间位置重叠策略可以对多个视频片段中的每个视频片段分别进行处理，针对多个视频片段中的每个视频片段，可以得到一个与第一待检测目标对应的第一轨迹和一个与第二待检测目标对应的第一轨迹，根据多个视频片段，可以得到多个与第一待检测目标对应的第一轨迹和多个与第二待检测目标对应的第一轨迹，得到多个第一轨迹。
根据本发明的实施例，可以针对多个视频片段中的每个视频片段，得到与每个视频片段包括的多帧图像分别对应的目标框，得到多个目标框。然后利用空间位置重叠策略对多个目标框进行连接，得到与每个视频片段包括的多个待检测目标各自对应的第一轨迹，得到多个第一轨迹。
在操作S230，根据多个第一轨迹，得到多个邻接矩阵，其中，邻接矩阵包括视频片段在同一相邻时段下的第一轨迹之间的连接关系。
根据本发明的实施例，可以根据同一相邻时段的第一轨迹，得到一个邻接矩阵。
根据本发明的实施例，例如，在顶视角的数量为1，水平视角的数量为2的情况下，同一相邻时段的第一轨迹包括1个顶视角在该同一相邻时段的第一轨迹和2个水平视角在该同一相邻时段的第一轨迹。
在操作S240，根据多个邻接矩阵，生成与待检测目标对应的第二轨迹，其中，第二轨迹表征不同视角下第二预设时长内待检测目标的位置变化，其中，第二预设时长大于等于第一预设时长，第二预设时长为目标场景的视频采集时长。
根据本发明的实施例，第二预设时长可以根据实际业务情况进行选择，在此不作限定。例如，第二预设时长可以为30s、50s或1min等。
根据本发明的实施例，可以将第二预设时长划分为p个第一预设时长，此时，可以将多个视角中的每个视角下的目标场景的视频划分为p个视频片段。p个视频片段之间存在p-1个相邻时段。针对与p-1个相邻时段中的每个相邻时段对应的第一轨迹，都可以得到一个邻接矩阵。在得到与p-1个相邻时段中的每个相邻时段对应的邻接矩阵后，可以得到p-1个邻接矩阵，并根据p-1个邻接矩阵对第二预设时内第一轨迹进行连接，得到与待检测目标对应的第二轨迹。
根据本发明的实施例，根据多个邻接矩阵，生成与待检测目标对应的第二轨迹还可以包括：对多个邻接矩阵进行二值化处理，得到多个二值化的邻接矩阵；根据多个二值化的邻接矩阵生成与待检测目标对应的第二轨迹。
根据本发明的实施例，二值化处理的阈值可以根据实际业务情况进行选择，在此不作限定。例如，二值化处理的阈值可以为0.7。
根据本发明的实施例，本发明实施例提供的技术方案可以根据利用空间位置重叠策略对跨视角的多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，然后根据多个第一轨迹，得到多个邻接矩阵，根据多个邻接矩阵，生成与待检测目标对应的第二轨迹的技术方案，实现根据跨视角的多个视频片段得到的多个第一轨迹去得到与待检测目标对应的第二轨迹。由于与单一视角相比，跨视角的多个视频片段包括较多的与待检测目标对应的信息，使得多个第一轨迹包括更多与待检测目标对应的轨迹信息，因此，根据跨视角的多个视频片段得到的多个第一轨迹去得到与待检测目标对应的第二轨迹，会使得第二轨迹更准确。
根据本发明的实施例，本发明实施例提供的视频多目标检测关联与轨迹生成方法，可以实现根据至少一个顶视角相机（例如1个顶视角相机）和多个水平视角相机（例如2个水平视角相机）同步采集的顶视角视频和水平视角视频得到与待检测目标对应的第二轨迹，且多个水平视角相机之间也可以存在较大的视角差异，因此本发明实施例提供的视频多目标检测关联与轨迹生成方法具有较强的实用性。
根据本发明的实施例，针对如图2所示的操作S220，利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，可以包括如下操作：
针对多个视频片段中的每个视频片段执行以下操作，得到与每个视频片段对应的第一轨迹：
利用目标检测网络对每个视频片段进行目标检测，得到与待检测目标对应的多个目标框；
基于空间位置重叠策略对多个目标框进行连接，得到与每个视频片段对应的第一轨迹。
根据本发明的实施例，可以基于人物目标边界框标注的多视角数据集对初始目标检测网络进行训练，得到目标检测网络。
根据本发明的实施例，空间位置重叠策略例如可以为IoU。
根据本发明的实施例，目标检测网络可以根据实际业务情况进行选择，在此不作限定。例如，目标检测网路可以为YOLOv3（You only look once: Unified，real-timeobject detection，目标实时检测）。
根据本发明的实施例，可以针对每个视频片段包括的每张视频图像，利用目标检测网络对每张视频图像进行目标检测，得到与待检测目标对应的目标框。在利用目标检测网络对每个视频片段包括的多张视频图像分别进行目标检测的情况下，可以得到与待检测目标对应的多个目标框。
根据本发明的实施例，通过利用目标检测网络对每个视频片段进行目标检测，得到与待检测目标对应的多个目标框，然后基于空间位置重叠策略对多个目标框进行连接，得到与每个视频片段对应的第一轨迹，可以得到准确度较高的第一轨迹，为根据与每个视频片段对应的准确度较高的第一轨迹得到较高准确度的第二轨迹做准备。
根据本发明的实施例，根据多个第一轨迹，得到多个邻接矩阵包括：
针对多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个第一轨迹之间的轨迹相似度；
根据轨迹相似度，得到权重矩阵，其中，权重矩阵包括视频片段在同一相邻时段下的第一轨迹之间的相似度；
根据权重矩阵构建增广拉格朗日函数；
利用交替方向乘子法对增广拉格朗日函数进行处理，得到邻接矩阵。
根据本发明的实施例，轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度。
根据本发明的实施例，可以利用轨迹相似度对权重矩阵中的元素进行赋值，得到权重矩阵。
根据本发明的实施例，根据权重矩阵构建的增广拉格朗日函数如公式（1）所示。
（1）
其中，，A表征邻接矩阵，B表征辅助变量，H表征拉格朗日乘数，ρ表征惩罚参数，ρ>0，W表征权重矩阵，/>表征矩阵点乘操作，λ表征预先设定的参数，/>表征邻接矩阵A满足的内部约束条件。/>表征核范数，/>的定义为矩阵的所有奇异值的总和。
根据本发明的实施例，公式（1）中的A满足的内部约束条件包括对称性约束，即A为对称矩阵，A=AT，Amm=I。其中，I表征单位矩阵。公式（1）中的A满足的内部约束条件还包括零一约束，即邻接矩阵A中的值为0或1。
根据本发明的实施例，公式（1）中的ρ，λ以及B的初始值可以根据实际情况进行选择，在此不作限定。例如，B的初始值可以为A，ρ可以为70，λ可以为60。
根据本发明的实施例，通过针对多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个第一轨迹之间的轨迹相似度，实现对跨视角以及跨时间的多个第一轨迹进行轨迹相似度测量。然后根据轨迹相似度，得到权重矩阵，得到能够反应跨视角以及跨时间的多个第一轨迹之间的轨迹相似度的矩阵，根据权重矩阵构建增广拉格朗日函数，利用交替方向乘子法对增广拉格朗日函数进行处理，得到邻接矩阵，实现根据增广拉格朗日函数及权重矩阵构得到每个视频片段在同一相邻时段下的第一轨迹之间的关联关系，保障了该关联关系的准确性。
根据本发明的实施例，利用交替方向乘子法对增广拉格朗日函数进行处理，得到邻接矩阵包括：
利用交替方向乘子法对增广拉格朗日函数进行处理，得到与邻接矩阵相关的第一函数、与辅助变量相关的第二函数和与拉格朗日乘数相关的第三函数；
基于第一函数，根据权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵，其中，邻接矩阵满足对称约束条件，其中，k为大于等于1的整数；
在确定第k+1轮的邻接矩阵不满足收敛条件的情况下，基于第二函数，根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量；
基于第三函数，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数；
根据第k+1轮的辅助变量和第k+1轮的拉格朗日乘数，返回基于第一函数计算邻接矩阵的操作，并递增k；
在确定第k+1轮的邻接矩阵满足收敛条件的情况下，得到邻接矩阵。
根据本发明的实施例，可以先利用交替方向乘子法对增广拉格朗日函数进行分解，分解为与邻接矩阵对应的公式、与辅助变量对应的公式和与拉格朗日乘数对应的公式对邻接矩阵进行参数求解。然后根据与邻接矩阵对应的公式，得到与邻接矩阵相关的第一函数。根据与辅助变量对应的公式，得到与辅助变量相关的第二函数。根据与拉格朗日乘数对应的公式，得到与拉格朗日乘数相关的第三函数。
根据本发明的实施例，可以利用交替方向乘子法将公式（1）中的增广拉格朗日函数分解为公式（2）中的三个公式进行求解。
（2）
其中，公式（2）中的第一行公式表征与邻接矩阵对应的公式，公式（2）中的第二行公式表征与辅助变量对应的公式，公式（2）中的第三行公式表征与拉格朗日乘数对应的公式，表征对A求最小值，/>表征对B求最小值。
根据本发明的实施例，可以根据公式（2）中的第一行公式提取与邻接矩阵对应的相关项。与邻接矩阵对应的相关项可以如公式（3）所示。
（3）
根据本发明的实施例，通过计算公式（3）针对A的偏导数，即，得到与邻接矩阵相关的第一函数。与邻接矩阵相关的第一函数如公式（4）所示。
（4）
其中，k表征迭代次数。
根据本发明的实施例，在根据公式（4）计算得到第（k+1）次的A后，还需要使第（k+1）次的A满足对称性约束，即需要根据如下公式（5）得到最终的第（k+1）次的A。
（5）
根据本发明的实施例，可以根据公式（2）中的第二行公式提取与辅助变量对应的相关项。与辅助变量对应的相关项可以如公式（6）所示。
（6）
根据本发明的实施例，通过对公式（6）进行变形和移除无关变量，得到如下等价公式（7）。
（7）
根据本发明的实施例，对公式（7）应用奇异值阈值算法，得到与辅助变量相关的第二函数。与辅助变量相关的第二函数可以如公式（8）所示。
（8）
其中，，/>，/>表征max（.，0）操作，max（，）表征求最大值，/>，U和V表征对/>进行奇异值分解得到的两个奇异矩阵，/>表征对/>进行奇异值分解得到的奇异值。
根据本发明的实施例，可以将公式（2）中的第三个公式作为与拉格朗日乘数相关的第三函数。
根据本发明的实施例，可以基于公式（4）以及公式（5），根据权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵。
根据本发明的实施例，在确定第k+1轮的邻接矩阵不满足收敛条件的情况下，可以基于公式（8），根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量。基于公式（2）中的第三个公式，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数。根据第k+1轮的辅助变量和第k+1轮的拉格朗日乘数，返回基于第一函数计算邻接矩阵的操作，并递增k。在确定第k+1轮的邻接矩阵满足收敛条件的情况下，得到邻接矩阵。
根据本发明的实施例，收敛条件可以根据实际情况进行选择，在此不作限定。例如，收敛条件可以为邻接矩阵趋于稳定，即相邻两次迭代得到的邻接矩阵之间在预设范围内波动。收敛条件还可以为迭代次数达到预设迭代次数。预设迭代次数例如可以为75次。
根据本发明的实施例，收敛条件还可以为，在预设迭代次数范围内对邻接矩阵进行迭代更新，在迭代次数小于预设迭代次数且邻接矩阵趋于稳定的情况下，停止迭代，得到最终的邻接矩阵，以及在邻接矩阵不稳定，达到预设迭代次数的情况下，停止迭代，得到最终的邻接矩阵。
根据本发明的实施例，针对多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个第一轨迹之间的轨迹相似度包括：
针对水平视角下的第一轨迹，对水平视角下的第一轨迹进行特征提取，得到与待检测目标对应的形态特征；
根据形态特征，得到与水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度；
利用恒速运动模型对同一视角下的相邻时段的第一轨迹进行处理，得到跨时段运动位置变化相似度；
利用基于空间位置分布的互补视角关联模型同时对同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹进行处理，得到与每一帧图像对应的目标关联结果；
根据目标关联结果，得到顶视角下的第一轨迹和水平视角下的第一轨迹之间的多视角轨迹相似度。
根据本发明的实施例，可以利用相关特征提取网络对水平视角下的第一轨迹进行特征提取，得到与待检测目标对应的形态特征。相关特征提取网络例如可以为 FastReID（Fast Re-identification，快速重新识别网络）。
根据本发明的实施例，可以基于人物目标边界框标注的多视角数据集对初始FastReID进行训练，得到训练好的FastReID。根据训练好的FastReID对水平视角下的第一轨迹进行特征提取，得到与待检测目标对应的形态特征。
根据本发明的实施例，恒速运动模型以及基于空间位置分布的互补视角关联模型可以根据实际业务需求进行选择，在此不作限定。
根据本发明的实施例，例如互补视角关联模型可以为俯视图和水平视图之间的多人关联模型（Multiple Human Association between Top and Horizontal Views）。
根据本发明的实施例，可以在得到目标关联结果的情况下，基于帧投票策略得到顶视角下的第一轨迹和水平视角下的第一轨迹之间的多视角轨迹相似度。
根据本发明的实施例，根据形态特征，得到与水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度包括：
根据形态特征，计算同一水平视角下的相邻时段的第一轨迹之间的欧式距离，得到跨时段形态相似度；
根据形态特征，针对所有水平视角下的同一时段的第一轨迹，计算任意两个水平视角下的第一轨迹之间的欧式距离，得到跨视角形态相似度。
根据本发明的实施例，通过针对多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个第一轨迹之间的轨迹相似度，轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度，可以得到能够反应两个第一轨迹在形态、运动位置变化或多视角轨迹关系等方面的轨迹相似度，使得到的轨迹相似度包括较多的与两个第一轨迹对应的相似度信息。
根据本发明的实施例，权重矩阵为对称矩阵，根据轨迹相似度，得到权重矩阵包括：
将权重矩阵中的对称轴上的元素设置为第一预设值；
针对权重矩阵中的与同一时段下的任意两个水平视角的第一轨迹对应的第一元素，根据跨视角形态相似度对第一元素进行赋值；
针对权重矩阵中的与同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹对应的第二元素，根据多视角轨迹相似度对第二元素进行赋值；
针对权重矩阵中的与同一水平视角下的相邻时段的第一轨迹对应的第三元素，根据跨时段形态相似度和跨时段运动位置变化相似度对第三元素进行赋值；
针对权重矩阵中的与同一顶视角下的相邻时段的第一轨迹对应的第四元素，根据跨时段运动位置变化相似度对第四元素进行赋值。
根据本发明的实施例，可以对权重矩阵中的除权重矩阵中的对称轴上的元素、第一元素、第二元素、第三元素和第四元素以外的其它元素赋值为零。
根据本发明的实施例，根据跨时段形态相似度和跨时段运动位置变化相似度对第三元素进行赋值例如可以为：将跨时段形态相似度乘以第二预设值后得到第一数值，将跨时段运动位置变化相似度乘以第三预设值后得到第二数值，将第一数值加第二数值得到第三数值，根据第三数值对第三元素进行赋值。
根据本发明的实施例，第一预设值、第二预设值和第三预设值均可以根据实际业务情况进行选择，在此不作限定。例如，第一预设值可以为1，第二预设值可以为0.3，第三预设值可以为0.7。
根据本发明的实施例，可以先对跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度分别进行归一化处理，得到归一化的跨时段形态相似度、归一化的跨视角形态相似度、归一化的跨时段运动位置变化相似度和归一化的多视角轨迹相似度。然后根据归一化的跨时段形态相似度、归一化的跨视角形态相似度、归一化的跨时段运动位置变化相似度和归一化的多视角轨迹相似度对权重矩阵进行赋值。
根据本发明的实施例，权重矩阵的大小可以根据待检测目标的数量、视角的数量以及相邻时刻的数量确定。
根据本发明的实施例，例如，权重矩阵的大小可以为N*N。在顶视角数量为1和水平视角为3，相邻时刻的数量为2，每个视角下均有5个待检测目标（例如可以为行人或车等）的情况下，N=2*4*5=40。
图3示出了根据本发明实施例提供的视频图像。
如图3所示，图3中的视频图像是利用与不同视角对应的采集装置对同一目标场景进行采集得到的。视频图像是视频中的一帧图像。图3中的待检测目标为行人。
图3中的（a）图是与顶视角对应的视频图像，是利用与顶视角对应的采集装置对该目标场景进行采集得到的。
图3中的（b）图是与水平视角1对应的视频图像，是利用与水平视角1对应的采集装置对该目标场景进行采集得到的。图3中的（c）图是与水平视角2对应的视频图像，是利用与水平视角2对应的采集装置对该目标场景进行采集得到的。图3中的（d）图是与水平视角3对应的视频图像，是利用与水平视角3对应的采集装置对该目标场景进行采集得到的。
图4示出了根据本发明另一实施例提供的视频多目标检测关联与轨迹生成方法的流程图。
如图4所示，第一步先获取图4（e）中的多视角视频序列：可以获取一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视。一个顶视角下的顶视角视频可以为图4（e）中的顶视角视频411。图4（e）中的水平视角视频412为第一水平视角下的水平视角视频。图4（e）中的水平视角视频413为第二水平视角下的水平视角视频。图4（e）中的水平视角视频还可以包括第n水平视角下的水平视角视频，第n水平视角与第一水平视角和第二水平视角之间互为不同的水平视角。
第二步，获取图4（f）中的多视角第一轨迹：可以将一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段。然后利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标（例如行人）对应的多个第一轨迹。
图4（f）中的421为第一时段的顶视角下的与三个行人分别对应的第一轨迹。图4（f）中的422为第一时段的第一水平视角下的与三个行人分别对应的第一轨迹。图4（f）中的423为第一时段的第二水平视角下的与三个行人分别对应的第一轨迹。图4（f）还可以包括第一时段的第n水平视角下的与三个行人分别对应的第一轨迹。
图4（f）中的424为第二时段的顶视角下的与三个行人分别对应的第一轨迹。图4（f）中的425为第二时段的第一水平视角下的与三个行人分别对应的第一轨迹。图4（f）中的426为第二时段的第二水平视角下的与三个行人分别对应的第一轨迹。图4（f）还可以包括第二时段的第n水平视角下的与三个行人分别对应的第一轨迹。
图4（f）还可以包括：第m时段的顶视角下的与三个行人分别对应的第一轨迹、第m时段的第一水平视角下的与三个行人分别对应的第一轨迹、第m时段的第二水平视角下的与三个行人分别对应的第一轨迹和第m时段的第n水平视角下的与三个行人分别对应的第一轨迹，m为大于2的整数。
第三步，获取权重矩阵，针对多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个所述第一轨迹之间的轨迹相似度。然后根据轨迹相似度，得到权重矩阵。
根据本发明的实施例，在顶视角数量为1和水平视角为2，相邻时刻的数量为2，每个视角下均有3个待检测目标（例如可以为行人）的情况下，N=2*3*3=18，即权重矩阵的大小为18*18，该权重矩阵如图4（g）所示。
第四步，获取邻接矩阵，根据权重矩阵构建增广拉格朗日函数，然后利用交替方向乘子法对增广拉格朗日函数进行处理，得到邻接矩阵。根据图4（g）中的权重矩阵，得到的邻接矩阵如图4（h）所示。
第五步，获取第二轨迹，根据多个邻接矩阵，生成与待检测目标对应的第二轨迹。根据如图4（h）所示邻接矩阵，生成的与行人对应的第二轨迹如图4（i）所示。
根据如图4所示视频多目标检测关联与轨迹生成方法，通过对跨视角的多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，然后根据多个第一轨迹，得到多个邻接矩阵，根据多个邻接矩阵，生成与待检测目标对应的第二轨迹，实现根据跨视角的多个视频片段得到的多个第一轨迹去得到与待检测目标对应的第二轨迹。由于与单一视角相比，跨视角的多个视频片段包括较多的与待检测目标对应的信息，使得多个第一轨迹包括更多与待检测目标对应的轨迹信息，因此，根据跨视角的多个视频片段得到的多个第一轨迹去得到与待检测目标对应的第二轨迹，会使得第二轨迹更准确。
需要说明的是，本发明实施例中的流程图所示的操作除非明确说明不同操作之间存在执行的先后顺序，或者不同操作在技术实现上存在执行的先后顺序，否则，多个操作之间的执行顺序可以不分先后，多个操作也可以同时执行。
基于上述视频多目标检测关联与轨迹生成方法，本发明还提供了一种视频多目标检测关联与轨迹生成装置。以下将结合图5对该装置进行详细描述。
图5示出了根据本发明实施例的视频多目标检测关联与轨迹生成装置的结构框图。
如图5所示，该实施例的视频多目标检测关联与轨迹生成装置500包括划分模块510、第一得到模块520、第二得到模块530和生成模块540。
划分模块510，用于将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，顶视角视频和水平视角视频是对同一目标场景进行同步采集得到的，目标场景包括至少一个待检测目标。在一实施例中，划分模块510可以用于执行前文描述的操作S210，在此不再赘述。
第一得到模块520，用于利用空间位置重叠策略对多个视频片段进行处理，得到与待检测目标对应的多个第一轨迹，其中，第一轨迹表征第一预设时长内单一视角下每一帧图像中待检测目标的位置变化。在一实施例中，第一得到模块520可以用于执行前文描述的操作S220，在此不再赘述。
第二得到模块530，用于根据多个第一轨迹，得到多个邻接矩阵，其中，邻接矩阵包括视频片段在同一相邻时段下的第一轨迹之间的连接关系。在一实施例中，第二得到模块530可以用于执行前文描述的操作S230，在此不再赘述。
生成模块540，用于根据多个邻接矩阵，生成与待检测目标对应的第二轨迹，其中，第二轨迹表征不同视角下第二预设时长内待检测目标的位置变化，其中，第二预设时长大于等于第一预设时长，第二预设时长为目标场景的视频采集时长。生成模块540可以用于执行前文描述的操作S240，在此不再赘述。
根据本发明的实施例，第二得到模块包括计算子模块、第一得到子模块、构建子模块和第二得到子模块。
计算子模块，用于针对多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个第一轨迹之间的轨迹相似度。
第一得到子模块，用于根据轨迹相似度，得到权重矩阵，其中，权重矩阵包括视频片段在同一相邻时段下的第一轨迹之间的相似度。
构建子模块，用于根据权重矩阵构建增广拉格朗日函数。
第二得到子模块，用于利用交替方向乘子法对增广拉格朗日函数进行处理，得到邻接矩阵。
根据本发明的实施例，第二得到子模块包括第一得到单元、第二得到单元、第三得到单元、第四得到单元、返回单元和第五得到单元。
第一得到单元，用于利用交替方向乘子法对增广拉格朗日函数进行处理，得到与邻接矩阵相关的第一函数、与辅助变量相关的第二函数和与拉格朗日乘数相关的第三函数。
第二得到单元，用于基于第一函数，根据权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵，其中，邻接矩阵满足对称约束条件，其中，k为大于等于1的整数。
第三得到单元，用于在确定第k+1轮的邻接矩阵不满足收敛条件的情况下，基于第二函数，根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量。
第四得到单元，用于基于第三函数，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数。
返回单元，用于根据第k+1轮的辅助变量和第k+1轮的拉格朗日乘数，返回基于第一函数计算邻接矩阵的操作，并递增k。
第五得到单元，用于在确定第k+1轮的邻接矩阵满足收敛条件的情况下，得到邻接矩阵。
根据本发明的实施例，轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度。
根据本发明的实施例，计算子模块包括第六得到单元、第七得到单元、第八得到单元、第九得到单元和第十得到单元。
第六得到单元，用于针对水平视角下的第一轨迹，对水平视角下的第一轨迹进行特征提取，得到与待检测目标对应的形态特征。
第七得到单元，用于根据形态特征，得到与水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度。
第八得到单元，用于利用恒速运动模型对同一视角下的相邻时段的第一轨迹进行处理，得到跨时段运动位置变化相似度。
第九得到单元，用于利用基于空间位置分布的互补视角关联模型同时对同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹进行处理，得到与每一帧图像对应的目标关联结果。
第十得到单元，用于根据目标关联结果，得到顶视角下的第一轨迹和水平视角下的第一轨迹之间的多视角轨迹相似度。
根据本发明的实施例，第七得到单元包括第一得到子单元和第二得到子单元。
第一得到子单元，用于根据形态特征，计算同一水平视角下的相邻时段的第一轨迹之间的欧式距离，得到跨时段形态相似度。
第二得到子单元，用于根据形态特征，针对所有水平视角下的同一时段的第一轨迹，计算任意两个水平视角下的第一轨迹之间的欧式距离，得到跨视角形态相似度。
根据本发明的实施例，权重矩阵为对称矩阵，第一得到子模块包括设置单元、第一赋值单元、第二赋值单元、第三赋值单元和第四赋值单元。
设置单元，用于将权重矩阵中的对称轴上的元素设置为第一预设值。
第一赋值单元，用于针对权重矩阵中的与同一时段下的任意两个水平视角的第一轨迹对应的第一元素，根据跨视角形态相似度对第一元素进行赋值。
第二赋值单元，用于针对权重矩阵中的与同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹对应的第二元素，根据多视角轨迹相似度对第二元素进行赋值。
第三赋值单元，用于针对权重矩阵中的与同一水平视角下的相邻时段的第一轨迹对应的第三元素，根据跨时段形态相似度和跨时段运动位置变化相似度对第三元素进行赋值。
第四赋值单元，用于针对权重矩阵中的与同一顶视角下的相邻时段的第一轨迹对应的第四元素，根据跨时段运动位置变化相似度对第四元素进行赋值。
根据本发明的实施例，第一得到模块用于针对多个视频片段中的每个视频片段执行以下操作，得到与每个视频片段对应的第一轨迹。第一得到模块包括目标框得到子模块和第一轨迹得到子模块。
目标框得到子模块，用于利用目标检测网络对每个视频片段进行目标检测，得到与待检测目标对应的多个目标框。
第一轨迹得到子模块，用于基于空间位置重叠策略对多个目标框进行连接，得到与每个视频片段对应的第一轨迹。
根据本发明的实施例，划分模块510、第一得到模块520、第二得到模块530和生成模块540中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，划分模块510、第一得到模块520、第二得到模块530和生成模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，划分模块510、第一得到模块520、第二得到模块530和生成模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图6示出了根据本发明实施例的适于实现视频多目标检测关联与轨迹生成方法的电子设备的方框图。
如图6所示，根据本发明实施例的电子设备600包括处理器601，其可以根据存储在只读存储器（ROM）602中的程序或者从存储部分608加载到随机访问存储器（RAM）603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器 601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM602和/或RAM603中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM602和RAM 603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备600还可以包括输入/输出（I/O）接口605，输入/输出（I/O）接口605也连接至总线604。电子设备600还可以包括连接至输入/输出（I/O）接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至输入/输出（I/O）接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM603以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本发明实施例所提供的视频多目标检测关联与轨迹生成方法。
在该计算机程序被处理器601执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。
Claims (10)
1.一种视频多目标检测关联与轨迹生成方法，其特征在于，所述方法包括：
将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，所述顶视角视频和所述水平视角视频是对同一目标场景进行同步采集得到的，所述目标场景包括至少一个待检测目标；
利用空间位置重叠策略对所述多个视频片段进行处理，得到与所述待检测目标对应的多个第一轨迹，其中，所述第一轨迹表征第一预设时长内单一视角下每一帧图像中所述待检测目标的位置变化；
根据所述多个第一轨迹，得到多个邻接矩阵，其中，所述邻接矩阵包括所述视频片段在同一相邻时段下的所述第一轨迹之间的连接关系；
根据多个所述邻接矩阵，生成与所述待检测目标对应的第二轨迹，其中，所述第二轨迹表征不同视角下第二预设时长内所述待检测目标的位置变化，其中，所述第二预设时长大于等于所述第一预设时长，所述第二预设时长为所述目标场景的视频采集时长。
2.根据权利要求1所述的方法，其特征在于，所述根据所述多个第一轨迹，得到多个邻接矩阵包括：
针对所述多个视频片段中的每个视频片段在同一相邻时段下的第一轨迹，计算任意两个所述第一轨迹之间的轨迹相似度；
根据所述轨迹相似度，得到权重矩阵，其中，所述权重矩阵包括所述视频片段在同一相邻时段下的所述第一轨迹之间的相似度；
根据所述权重矩阵构建增广拉格朗日函数；
利用交替方向乘子法对所述增广拉格朗日函数进行处理，得到所述邻接矩阵。
3.根据权利要求2所述的方法，其特征在于，利用交替方向乘子法对所述增广拉格朗日函数进行处理，得到所述邻接矩阵包括：
利用交替方向乘子法对所述增广拉格朗日函数进行处理，得到与所述邻接矩阵相关的第一函数、与辅助变量相关的第二函数和与拉格朗日乘数相关的第三函数；
基于所述第一函数，根据所述权重矩阵、第k轮的拉格朗日乘数和第k轮的辅助变量得到第k+1轮的邻接矩阵，其中，所述邻接矩阵满足对称约束条件，其中，k为大于等于1的整数；
在确定所述第k+1轮的邻接矩阵不满足收敛条件的情况下，基于所述第二函数，根据第k轮的邻接矩阵和第k轮的拉格朗日乘数，得到第k+1轮的辅助变量；
基于所述第三函数，根据第k轮的拉格朗日乘数、第k轮的邻接矩阵和第k轮的辅助变量，得到第k+1轮的拉格朗日乘数；
根据所述第k+1轮的辅助变量和所述第k+1轮的拉格朗日乘数，返回基于所述第一函数计算邻接矩阵的操作，并递增k；
在确定所述第k+1轮的邻接矩阵满足收敛条件的情况下，得到所述邻接矩阵。
4.根据权利要求2所述的方法，其特征在于，所述轨迹相似度包括跨时段形态相似度、跨视角形态相似度、跨时段运动位置变化相似度和多视角轨迹相似度。
5.根据权利要求4所述的方法，其特征在于，所述针对所述多个视频片段中的每个视频片段在同一相邻时段下的所述第一轨迹，计算任意两个所述第一轨迹之间的轨迹相似度包括：
针对水平视角下的第一轨迹，对所述水平视角下的第一轨迹进行特征提取，得到与所述待检测目标对应的形态特征；
根据所述形态特征，得到与所述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度；
利用恒速运动模型对同一视角下的相邻时段的第一轨迹进行处理，得到跨时段运动位置变化相似度；
利用基于空间位置分布的互补视角关联模型同时对同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹进行处理，得到与每一帧图像对应的目标关联结果；
根据所述目标关联结果，得到所述顶视角下的第一轨迹和所述水平视角下的第一轨迹之间的多视角轨迹相似度。
6.根据权利要求5所述的方法，其特征在于，所述根据所述形态特征，得到与所述水平视角下的第一轨迹对应的跨时段形态相似度和跨视角形态相似度包括：
根据所述形态特征，计算同一水平视角下的相邻时段的第一轨迹之间的欧式距离，得到跨时段形态相似度；
根据所述形态特征，针对所有水平视角下的同一时段的第一轨迹，计算任意两个水平视角下的第一轨迹之间的欧式距离，得到跨视角形态相似度。
7.根据权利要求4所述的方法，其特征在于，所述权重矩阵为对称矩阵，所述根据所述轨迹相似度，得到权重矩阵包括：
将所述权重矩阵中的对称轴上的元素设置为第一预设值；
针对所述权重矩阵中的与同一时段下的任意两个水平视角的所述第一轨迹对应的第一元素，根据所述跨视角形态相似度对所述第一元素进行赋值；
针对所述权重矩阵中的与同一时段下的任意一个顶视角下的第一轨迹和任意一个水平视角下的第一轨迹对应的第二元素，根据所述多视角轨迹相似度对所述第二元素进行赋值；
针对所述权重矩阵中的与同一水平视角下的相邻时段的所述第一轨迹对应的第三元素，根据所述跨时段形态相似度和跨时段运动位置变化相似度对所述第三元素进行赋值；
针对所述权重矩阵中的与同一顶视角下的相邻时段的所述第一轨迹对应的第四元素，根据跨时段运动位置变化相似度对所述第四元素进行赋值。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述利用空间位置重叠策略对所述多个视频片段进行处理，得到与所述待检测目标对应的多个第一轨迹包括：
针对所述多个视频片段中的每个视频片段执行以下操作，得到与所述每个视频片段对应的第一轨迹：
利用目标检测网络对所述每个视频片段进行目标检测，得到与所述待检测目标对应的多个目标框；
基于空间位置重叠策略对所述多个目标框进行连接，得到所述与所述每个视频片段对应的第一轨迹。
9.一种视频多目标检测关联与轨迹生成装置，包括：
划分模块，用于将至少一个顶视角下的顶视角视频和至少两个水平视角下的水平视角视频分别划分为第一预设时长的多个视频片段，其中，所述顶视角视频和所述水平视角视频是对同一目标场景进行同步采集得到的，所述目标场景包括至少一个待检测目标；
第一得到模块，用于利用空间位置重叠策略对所述多个视频片段进行处理，得到与所述待检测目标对应的多个第一轨迹，其中，所述第一轨迹表征第一预设时长内单一视角下每一帧图像中所述待检测目标的位置变化；
第二得到模块，用于根据所述多个第一轨迹，得到多个邻接矩阵，其中，所述邻接矩阵包括所述视频片段在同一相邻时段下的所述第一轨迹之间的连接关系；
生成模块，用于根据多个所述邻接矩阵，生成与所述待检测目标对应的第二轨迹，其中，所述第二轨迹表征不同视角下第二预设时长内所述待检测目标的位置变化，其中，所述第二预设时长大于等于所述第一预设时长，所述第二预设时长为所述目标场景的视频采集时长。
10.一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个指令，
其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311083696.4A CN116843721B (zh) | 2023-08-28 | 2023-08-28 | 视频多目标检测关联与轨迹生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311083696.4A CN116843721B (zh) | 2023-08-28 | 2023-08-28 | 视频多目标检测关联与轨迹生成方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116843721A true CN116843721A (zh) | 2023-10-03 |
| CN116843721B CN116843721B (zh) | 2024-01-19 |
Family
ID=88162009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311083696.4A Active CN116843721B (zh) | 2023-08-28 | 2023-08-28 | 视频多目标检测关联与轨迹生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843721B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808391A (zh) * | 2017-10-30 | 2018-03-16 | 浙江工业大学 | 一种基于特征选择与光滑表示聚类的视频动态目标提取方法 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110490911A (zh) * | 2019-08-14 | 2019-11-22 | 西安宏规电子科技有限公司 | 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 |
| CN111460222A (zh) * | 2020-02-17 | 2020-07-28 | 天津大学 | 一种基于多视角低秩分解的短视频多标签分类方法 |
| CN114067428A (zh) * | 2021-11-02 | 2022-02-18 | 上海浦东发展银行股份有限公司 | 多视角多目标的跟踪方法、装置、计算机设备和存储介质 |
| CN114241016A (zh) * | 2021-12-09 | 2022-03-25 | 杭州海康威视数字技术股份有限公司 | 一种跨相机轨迹关联方法、装置及电子设备 |
| CN114648557A (zh) * | 2022-03-28 | 2022-06-21 | 天津大学 | 一种基于高空视角与地面视角的多目标协同跟踪方法 |
| CN115984586A (zh) * | 2022-12-12 | 2023-04-18 | 北京易航远智科技有限公司 | 一种鸟瞰视角下的多目标跟踪方法及装置 |
-
2023
- 2023-08-28 CN CN202311083696.4A patent/CN116843721B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107808391A (zh) * | 2017-10-30 | 2018-03-16 | 浙江工业大学 | 一种基于特征选择与光滑表示聚类的视频动态目标提取方法 |
| CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
| CN110490911A (zh) * | 2019-08-14 | 2019-11-22 | 西安宏规电子科技有限公司 | 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 |
| CN111460222A (zh) * | 2020-02-17 | 2020-07-28 | 天津大学 | 一种基于多视角低秩分解的短视频多标签分类方法 |
| CN114067428A (zh) * | 2021-11-02 | 2022-02-18 | 上海浦东发展银行股份有限公司 | 多视角多目标的跟踪方法、装置、计算机设备和存储介质 |
| CN114241016A (zh) * | 2021-12-09 | 2022-03-25 | 杭州海康威视数字技术股份有限公司 | 一种跨相机轨迹关联方法、装置及电子设备 |
| CN114648557A (zh) * | 2022-03-28 | 2022-06-21 | 天津大学 | 一种基于高空视角与地面视角的多目标协同跟踪方法 |
| CN115984586A (zh) * | 2022-12-12 | 2023-04-18 | 北京易航远智科技有限公司 | 一种鸟瞰视角下的多目标跟踪方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| HAN RUIZE: ""Benchmarking the Complementary-View Multi-human Association and Tracking"", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, pages 1 - 19 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116843721B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11392792B2 (en) | Method and apparatus for generating vehicle damage information | |
| US10002309B2 (en) | Real-time object analysis with occlusion handling | |
| US9846821B2 (en) | Fast object detection method based on deformable part model (DPM) | |
| US11900676B2 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
| CN110472599B (zh) | 对象数量确定方法、装置、存储介质与电子设备 | |
| CN111881777B (zh) | 一种视频处理方法和装置 | |
| CN110427915B (zh) | 用于输出信息的方法和装置 | |
| CN110059521A (zh) | 目标跟踪方法及装置 | |
| CN113469025B (zh) | 应用于车路协同的目标检测方法、装置、路侧设备和车辆 | |
| CN110390226B (zh) | 人群事件识别方法、装置、电子设备及系统 | |
| Emami et al. | Long-range multi-object tracking at traffic intersections on low-power devices | |
| CN116843721B (zh) | 视频多目标检测关联与轨迹生成方法、装置及电子设备 | |
| Sutopo et al. | Appearance-based passenger counting in cluttered scenes with lateral movement compensation | |
| CN113869163B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN112819859B (zh) | 一种应用于智慧安防的多目标跟踪方法及装置 | |
| Truong et al. | Single object tracking using particle filter framework and saliency-based weighted color histogram | |
| Yan et al. | Mutually coupled detection and tracking of trucks for monitoring construction material arrival delays | |
| Kłosowski et al. | Vision-based parking lot occupancy evaluation system using 2D separable discrete wavelet transform | |
| CN110634155A (zh) | 一种基于深度学习的目标检测方法和装置 | |
| CN112488076A (zh) | 一种人脸图像采集方法、系统以及设备 | |
| Chunxian et al. | Hybrid video stabilization for mobile vehicle detection on SURF in aerial surveillance | |
| CN112668364A (zh) | 一种基于视频的行为预测方法及装置 | |
| CN114820692B (zh) | 跟踪目标的状态分析方法、装置、存储介质和终端 | |
| CN116563701A (zh) | 目标对象检测方法、装置、设备及存储介质 | |
| CN116091973A (zh) | 行人徘徊检测方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |