CN111242987A - 一种目标跟踪方法、装置、电子设备及存储介质 - Google Patents
一种目标跟踪方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111242987A CN111242987A CN202010016568.8A CN202010016568A CN111242987A CN 111242987 A CN111242987 A CN 111242987A CN 202010016568 A CN202010016568 A CN 202010016568A CN 111242987 A CN111242987 A CN 111242987A
- Authority
- CN
- China
- Prior art keywords
- target
- tracking information
- target tracking
- cameras
- tuple
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000013519 translation Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 41
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 101100274406 Schizosaccharomyces pombe (strain 972 / ATCC 24843) cid1 gene Proteins 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本公开实施例公开了一种目标跟踪方法、装置、电子设备及存储介质,涉及目标跟踪领域;其中,该方法包括:当目标进入一个摄像头覆盖区域时,对目标进行持续跟踪;当目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;当重叠面积超过预设值时,对目标进行持续跟踪;采用此方法,能够实现大范围的拍摄和更好的目标跟踪。
Description
技术领域
本公开涉及目标跟踪领域,具体涉及一种目标跟踪方法、装置、电子设备及存储介质。
背景技术
在一些室内外场景中(比如汽车4S店展厅场景),经常需要跟踪参观人员行走的路线、关注的商品和停留的时间等信息。如果室内面积不大,在室内顶部安装一个广角的摄像头就可以覆盖整个场景,实现目标跟踪;如果面积稍大一些,可以安装一个鱼眼摄像头就能覆盖整个场景,实现目标跟踪;但是如果室内面积比较大,采用广角摄像头或鱼眼摄像头依然存在拍摄角度受限、拍摄范围难以覆盖全的问题,依然无法实现目标轨迹跟踪。除此之外,在采用鱼眼摄像头拍摄时,还会存在鱼眼镜头的形变问题,对场景边缘的覆盖并不理想等问题,容易出现一定的误差,从而将目标跟丢。因此亟需一种同时实现大范围面积拍摄和目标跟踪的方法。
发明内容
针对现有技术中的上述技术问题,本公开实施例提出了一种目标跟踪方法、装置、电子设备及存储介质,以解决现有技术中无法实现同时实现大范围面积拍摄和目标跟踪的问题。
本公开实施例的第一方面提供了一种目标跟踪方法,包括:
当目标进入一个摄像头覆盖区域时,对所述目标进行持续跟踪;
当目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;
通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;
当所述重叠面积超过预设值时,对所述目标进行持续跟踪。
在一些实施例中,所述目标跟踪信息元组包括目标检测框坐标;
通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组,具体包括:
通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组包含的目标检测框坐标进行转换,得到转换后的目标检测框坐标。
在一些实施例中,所述通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积,具体包括:通过所述转换后的目标检测框坐标与另一个所述目标跟踪信息元组包含的目标检测框坐标确定目标检测框的重叠面积。
在一些实施例中,所述方法还包括:当所述重叠面积未超过预设值时,获取目标外观图像特征并通过比较所述目标外观图像特征进行目标关联。
在一些实施例中,所述目标跟踪信息元组包括目标编号;
所述方法还包括:当所述重叠面积超过预设值时,统一所述目标跟踪信息元组中的目标编号。
在一些实施例中,所述方法还包括:获取目标外观图像特征并通过比较所述目标外观图像特征进行目标关联。
在一些实施例中,所述方法还包括:利用图像拼接技术,将摄像头拍摄的照片进行拼接,展示目标活动轨迹。
本公开实施例的第二方面提供了一种目标跟踪装置,包括:
判断模块,用于判断目标进入一个摄像头覆盖区域或多个摄像头覆盖区域;
跟踪模块,用于当所述判断模块判断目标进入一个摄像头覆盖区域时,对所述目标进行持续跟踪;
坐标转换模块,用于当所述判断模块判断目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;
确定重叠面积模块,通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;
所述跟踪模块,还用于当所述确定重叠面积模块确定的所述重叠面积超过预设值时,对所述目标进行持续跟踪。
本公开实施例的第三方面提供了一种电子设备,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如前述各实施例所述的方法。
本公开实施例的第四方面提供了一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如前述各实施例所述的方法。
本公开实施例的第五方面提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,可用来实现如前述各实施例所述的方法。
本公开实施例中,当目标进入多个摄像头覆盖区域时,读取目标跟踪信息元组,通过两两摄像头之间的旋转平移矩阵对其进行转换,实现跨摄像头的持续跟踪,效果更优;同时,解决了拍摄范围受限、鱼眼镜头的形变及边缘覆盖问题,实现大范围的拍摄和更好的目标跟踪。
附图说明
通过参考附图会更加清楚的理解本公开的特征和优点,附图是示意性的而不应理解为对本公开进行任何限制,在附图中:
图1是根据本公开的一些实施例所示的一种目标跟踪方法的流程图;
图2是根据本公开的一些实施例所示的一种目标跟踪装置的结构框图;
图3是根据本公开的一些实施例所示的一种电子设备的结构示意图。
具体实施方式
在下面的详细描述中,通过示例阐述了本公开的许多具体细节,以便提供对相关披露的透彻理解。然而,对于本领域的普通技术人员来讲,本公开显而易见的可以在没有这些细节的情况下实施。应当理解的是,本公开中使用“系统”、“装置”、“单元”和/或“模块”术语,是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而,如果其他表达式可以实现相同的目的,这些术语可以被其他表达式替换。
应当理解的是,当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时,其可以直接在另一设备、单元或模块上,连接或耦合到或与其他设备、单元或模块通信,或者可以存在中间设备、单元或模块,除非上下文明确提示例外情形。例如,本公开所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本公开所用术语仅为了描述特定实施例,而非限制本公开范围。如本公开说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件,而该类表述并不构成一个排它性的罗列,其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图,本公开的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解,其中说明和附图形成了说明书的一部分。然而,可以清楚地理解,附图仅用作说明和描述的目的,并不意在限定本公开的保护范围。可以理解的是,附图并非按比例绘制。
本公开中使用了多种结构图用来说明根据本公开的实施例的各种变形。应当理解的是,前面或下面的结构并不是用来限定本公开。本公开的保护范围以权利要求为准。
目前,在一些室内场景中(比如汽车4S店展厅场景),经常需要跟踪参观人员行走的路线、关注的商品和停留的时间等信息。如果室内面积不大,在室内顶部安装一个广角的摄像头就可以覆盖整个场景,实现目标跟踪;如果面积稍大一些,可以安装一个鱼眼摄像头就能覆盖整个场景,实现目标跟踪;但是如果室内面积比较大,采用广角摄像头或鱼眼摄像头依然存在拍摄角度受限、拍摄范围难以覆盖全的问题,依然无法实现目标轨迹跟踪。除此之外,在采用鱼眼摄像头拍摄时,还会存在鱼眼镜头的形变问题,对场景边缘的覆盖并不理想等问题。
为了持续的对目标进行跟踪,现有技术中公开了采用多摄像头联合跟踪目标的方法,通常做法是仅利用目标的外观图像特征,通过特征比较来实现目标的关联;优选地,可以利用行人重识别(PersonRe-ID)技术,这是一项利用人体特征来跟踪跨摄像头人员轨迹的技术,通过提取人体的特征,当目标跨摄像头时,可以通过比对人体特征来确认目标的信息,从而实现目标的跟踪。但是这种方法容易出现一定的误差,从而将目标跟丢。为了解决上述问题,本公开实施例提供了一种目标跟踪方法,如图1所示,具体包括:
S101、当目标进入一个摄像头覆盖区域时,对所述目标进行持续跟踪;
S102、当目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;
S103、通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;
S104、当所述重叠面积超过预设值时,对所述目标进行持续跟踪。
在一些实施例中,方法还包括:对每个摄像头做单目标定,获得摄像头的内参矩阵。
具体地,所述内参矩阵和摄像头有关,一旦确定就可以重复使用。内参矩阵与摄像头的像素大小及焦距相关,可以实现从摄像头坐标到图像坐标的转换。以减少拍摄图像的畸变,获得更准确的图像;
更具体地,摄像头的单目标定通过打印的黑白棋盘图片来实现的。之所以使用棋盘是因为检测角点很方便,基于棋盘角点的检测,可以获得摄像头的内参矩阵,从而实现图像的矫正。具体地,如(1)式所示,其中u0,v0是图像平面中心坐标,fx,fy是焦距在图像平面x,y方向上的实际大小。
在一些实施例中,方法还包括:对有重叠覆盖区域的摄像头进行两两摄像头的双目标定,以获得摄像头之间的外参矩阵,即旋转平移矩阵,实现从世界坐标系到摄像头坐标系的转换;然后利用旋转平移矩阵和内参矩阵实现图像坐标的转换;更具体地,是为了实现重叠区域的图像坐标转换。在当目标从一个摄像头的拍摄区域进入另一个摄像头的拍摄区域时,需要对目标检测框坐标进行转换,以实现跨摄像头的持续跟踪。
具体地,两两摄像头的双目标定是通过打印的黑白棋盘图片来实现的,需要用固定好的双目摄像头同时拍摄多对棋盘图片,基于棋盘角点的检测,可以获得摄像头的外参矩阵,即旋转平移矩阵,从而实现坐标的转换。如(2)式所示,其中R是旋转矩阵,T是平移矩阵,R为3*3矩阵,T为3*1矩阵,0为(0,0,0),外参矩阵表示为4*4矩阵。
在一些实施例中,所述目标跟踪信息元组包括目标检测框坐标;
具体地,通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组,具体包括:
通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组包含的目标检测框坐标进行转换,得到转换后的目标检测框坐标。
在一些实施例中,所述目标检测框坐标包括目标检测框中心点坐标;
具体地,所述通过任意两个摄像头之间的旋转平移矩阵对所述目标检测框坐标进行转换,得到转换后的目标检测框坐标,具体包括:获取所述任意两个摄像头中的一个摄像头确定的目标检测框坐标中包含的目标检测框中心点坐标,通过所述旋转平移矩阵对目标检测框中心点坐标进行转换,得到转换后的目标检测框中心点坐标。
在一些实施例中,所述通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积,具体包括:通过所述转换后的目标检测框坐标与另一个所述目标跟踪信息元组包含的目标检测框坐标确定目标检测框的重叠面积。
在一些实施例中,所述目标跟踪信息元组还包括目标编号;
相应地,所述方法还包括:当所述重叠面积超过预设值时,统一所述目标跟踪信息元组中的目标编号。
具体地,将检测到的目标用目标跟踪信息元组<uid,cid,x,y,w,h>来表示;其中,uid为目标编号,cid为摄像头编号;进一步地,目标跟踪信息元组<uid,cid,x,y,w,h>包括目标检测框坐标<x1,y1,w1,h1>;更进一步地,目标检测框坐标包括目标检测框中心点坐标<x1,y1>;其中,坐标参数x、y、w、h分别为当前编号为cid的摄像头拍摄到的目标编号为uid的目标检测框中心点的坐标和目标检测框的宽度、高度。
在一些实施例中,当目标只在一个摄像头的拍摄范围内活动且无重叠区域时,这时目标可以持续跟踪;
在一些实施例中,当目标走到摄像头重叠区域,即从一个摄像头走到另一个摄像头时,这时两个摄像头都能获得目标跟踪信息元组,分别表示为<uid1,cid1,x1,y1,w1,h1>和<uid2,cid2,x2,y2,w2,h2>。
进一步地,需要确定目标检测框的重叠面积。具体地,根据摄像头cid1和摄像头cid2之间的旋转平移矩阵,将其中一个摄像头检测到的目标检测框坐标中包含的目标检测框中心点坐标<x1,y1>转换成<x1',y1'>。
进一步地,计算转换后的目标检测框坐标<x1',y1',w1,h1>与目标检测框<x2,y2,w2,h2>的重叠面积,在重叠面积超过一定预设值时,则确定两个摄像头检测到的目标为同一个目标,这时修改目标跟踪信息元组<uid2,cid2,x2,y2,w2,h2>为<uid1,cid2,x2,y2,w2,h2>,从而实现持续跟踪。
在一些实施例中,当目标进入多个摄像头重叠的区域,这时目标获得多个目标跟踪信息元组,通过上述两两摄像头的旋转平移矩阵来进行坐标转换,不管目标最后进入哪个摄像头的拍摄区域,都能保持持续跟踪。
在一些实施例中,当所述重叠面积未超过预设值时,获取目标外观图像特征并通过比较所述目标外观图像特征进行目标关联。
进一步地,如果重叠面积等于零,这时可在一定范围内,基于外观图像特征进行近邻搜索,以关联丢掉的跟踪。
在一些实施例中,为了减少目标的跟丢,还可以充分利用目标的外观图像特征,通过特征比较来实现目标的关联,减少根据目标检测框的重叠面积带来的误判,增强目标跟踪的效果。
在一些实施例中,为了更清晰地表现目标的活动轨迹,还可以利用图像拼接技术,将多路摄像头的图像进行拼接,然后在整体图像上展示不同目标的活动轨迹,实现大范围拍摄。
其中,大范围拍摄是利用多路摄像头在同一平面平行布局,基于多路摄像头拍摄到的图像进行拼接,利用重叠区域的图像相似点获得单应性(Homography)变换矩阵,从而实现多路图像的拼接,实现大范围的拍摄。
在一些实施例中,还可选择热力图展示用户的活动轨迹。
本公开实施例提供的方法,可以应用在室内外大范围拍摄和目标跟踪场景中;尤其是在室内面积比较大的场景下,用广角或鱼眼摄像头都难以覆盖,可以利用多摄像头联合拍摄和跟踪的技术,首先将多路摄像头在同一平面平行布局,不同摄像头的拍摄区域存在一定重叠,以跟踪目标跨摄像头的移动,然后对有重叠区域的摄像头进行两两双目标定,以获得摄像头之间的旋转平移矩阵。在目标进行跨摄像头移动时,通过对目标跟踪信息元组进行转换,以实现跨摄像头的持续跟踪,优选地,还可以结合外观图像特征来实现目标的关联和跟踪,从而实现大范围的拍摄和更好的室内目标跟踪。
本公开实施例提供了一种目标跟踪装置200,如图2所示,具体包括:
判断模块201,用于判断目标进入一个摄像头覆盖区域或多个摄像头覆盖区域;
跟踪模块202,用于当所述判断模块201判断目标进入一个摄像头覆盖区域时,对所述目标进行持续跟踪;
坐标转换模块203,用于当所述判断模块201判断目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;
确定重叠面积模块204,通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;
所述跟踪模块202,还用于当所述确定重叠面积模块204确定的所述重叠面积超过预设值时,对所述目标进行持续跟踪。
参考附图3,为本申请一个实施例提供的电子设备示意图。如图3所示,该电子设备300包括:
存储器330以及一个或多个处理器310;
其中,所述存储器330与所述一个或多个处理器310通信连接,所述存储器330中存储有可被所述一个或多个处理器执行的指令332,所述指令332被所述一个或多个处理器310执行,以使所述一个或多个处理器310执行本申请前述实施例中的方法。
具体地,处理器310和存储器330可以通过总线或者其他方式连接,图中以通过总线340连接为例。处理器310可以为中央处理器(Central Processing Unit,CPU)。处理器310还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器330作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的级联渐进网络等。处理器310通过运行存储在存储器330中的非暂态软件程序、指令以及模块332,从而执行处理器的各种功能应用以及数据处理。
存储器330可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器310所创建的数据等。此外,存储器330可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器330可选包括相对于处理器310远程设置的存储器,这些远程存储器可以通过网络(比如通过通信接口320)连接至处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括,但不限于,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的,但本领域技术人员可以认识到,还可结合其他类型的程序模块来执行其他实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解,此处所述的本主题可以使用其他计算机系统配置来实践,包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等,也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到,结合本文中所本申请的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
综上所述,本公开提出了一种目标跟踪方法、装置、电子设备及其计算机可读存储介质。本公开实施例中,在当目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定目标检测框的重叠面积;当所述重叠面积超过预设值时,对所述目标进行持续跟踪;实现跨摄像头的持续跟踪,效果更优;同时,解决了拍摄范围受限、鱼眼镜头的形变及边缘覆盖问题,实现大范围的拍摄和更好的目标跟踪。
应当理解的是,本公开的上述具体实施方式仅仅用于示例性说明或解释本公开的原理,而不构成对本公开的限制。因此,在不偏离本公开的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。此外,本公开所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种目标跟踪方法,其特征在于,所述方法包括:
当目标进入一个摄像头覆盖区域时,对所述目标进行持续跟踪;
当目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;
通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;
当所述重叠面积超过预设值时,对所述目标进行持续跟踪。
2.根据权利要求1所述的方法,其特征在于,所述目标跟踪信息元组包括目标检测框坐标;
通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组,具体包括:
通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组包含的目标检测框坐标进行转换,得到转换后的目标检测框坐标。
3.根据权利要求2所述的方法,其特征在于,所述通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积,具体包括:通过所述转换后的目标检测框坐标与另一个所述目标跟踪信息元组包含的目标检测框坐标确定目标检测框的重叠面积。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述重叠面积未超过预设值时,获取目标外观图像特征并通过比较所述目标外观图像特征进行目标关联。
5.根据权利要求1所述的方法,其特征在于,所述目标跟踪信息元组包括目标编号;
所述方法还包括:当所述重叠面积超过预设值时,统一所述目标跟踪信息元组中的目标编号。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取目标外观图像特征并通过比较所述目标外观图像特征进行目标关联。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:利用图像拼接技术,将摄像头拍摄的照片进行拼接,展示目标活动轨迹。
8.一种目标跟踪装置,其特征在于,所述装置包括:
判断模块,用于判断目标进入一个摄像头覆盖区域或多个摄像头覆盖区域;
跟踪模块,用于当所述判断模块判断目标进入一个摄像头覆盖区域时,对所述目标进行持续跟踪;
坐标转换模块,用于当所述判断模块判断目标进入多个摄像头覆盖区域时,读取任意两个摄像头确定的目标跟踪信息元组,并通过所述两个摄像头之间的旋转平移矩阵对其中一个所述目标跟踪信息元组进行转换,得到转换后的目标跟踪信息元组;
确定重叠面积模块,通过所述转换后的目标跟踪信息元组与另一个所述目标跟踪信息元组确定重叠面积;
所述跟踪模块,还用于当所述确定重叠面积模块确定的所述重叠面积超过预设值时,对所述目标进行持续跟踪。
9.一种电子设备,其特征在于,包括:
存储器以及一个或多个处理器;
其中,所述存储器与所述一个或多个处理器通信连接,所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行时,所述电子设备用于实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机可执行指令,当所述计算机可执行指令被计算装置执行时,可用来实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010016568.8A CN111242987B (zh) | 2020-01-08 | 2020-01-08 | 一种目标跟踪方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010016568.8A CN111242987B (zh) | 2020-01-08 | 2020-01-08 | 一种目标跟踪方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111242987A true CN111242987A (zh) | 2020-06-05 |
CN111242987B CN111242987B (zh) | 2024-02-06 |
Family
ID=70870351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010016568.8A Active CN111242987B (zh) | 2020-01-08 | 2020-01-08 | 一种目标跟踪方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242987B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111932590A (zh) * | 2020-09-28 | 2020-11-13 | 创新奇智(广州)科技有限公司 | 对象跟踪方法、装置、电子设备及可读存储介质 |
CN112133027A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(重庆)科技有限公司 | 加油支付方法、装置、电子设备及可读存储介质 |
CN112560592A (zh) * | 2020-11-30 | 2021-03-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、终端控制方法及装置 |
CN116402857A (zh) * | 2023-04-14 | 2023-07-07 | 北京天睿空间科技股份有限公司 | 一种基于三维标定的运动目标跨镜头跟踪方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017219529A1 (zh) * | 2016-06-23 | 2017-12-28 | 乐视控股(北京)有限公司 | 目标跟踪方法、装置、系统、远程监控系统和电子设备 |
CN108876821A (zh) * | 2018-07-05 | 2018-11-23 | 北京云视万维科技有限公司 | 跨镜头多目标跟踪方法及系统 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110428448A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
CN110490911A (zh) * | 2019-08-14 | 2019-11-22 | 西安宏规电子科技有限公司 | 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 |
CN110602449A (zh) * | 2019-09-01 | 2019-12-20 | 天津大学 | 一种基于视觉的大场景下施工安全智能监控系统方法 |
-
2020
- 2020-01-08 CN CN202010016568.8A patent/CN111242987B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017219529A1 (zh) * | 2016-06-23 | 2017-12-28 | 乐视控股(北京)有限公司 | 目标跟踪方法、装置、系统、远程监控系统和电子设备 |
CN108876821A (zh) * | 2018-07-05 | 2018-11-23 | 北京云视万维科技有限公司 | 跨镜头多目标跟踪方法及系统 |
CN110378931A (zh) * | 2019-07-10 | 2019-10-25 | 成都数之联科技有限公司 | 一种基于多摄像头的行人目标移动轨迹获取方法及系统 |
CN110428448A (zh) * | 2019-07-31 | 2019-11-08 | 腾讯科技(深圳)有限公司 | 目标检测跟踪方法、装置、设备及存储介质 |
CN110490911A (zh) * | 2019-08-14 | 2019-11-22 | 西安宏规电子科技有限公司 | 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 |
CN110602449A (zh) * | 2019-09-01 | 2019-12-20 | 天津大学 | 一种基于视觉的大场景下施工安全智能监控系统方法 |
Non-Patent Citations (2)
Title |
---|
MOONSUB BYEON等: "Variational Inference for 3-D Localization and Tracking of Multiple Targets Using Multiple Cameras", IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS ( VOLUME: 30, ISSUE: 11, NOVEMBER 2019) * |
李志华 等: "视频监控系统中的多摄像头跟踪优化设计", no. 09 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112133027A (zh) * | 2020-09-23 | 2020-12-25 | 创新奇智(重庆)科技有限公司 | 加油支付方法、装置、电子设备及可读存储介质 |
CN112133027B (zh) * | 2020-09-23 | 2022-02-11 | 创新奇智(重庆)科技有限公司 | 加油支付方法、装置、电子设备及可读存储介质 |
CN111932590A (zh) * | 2020-09-28 | 2020-11-13 | 创新奇智(广州)科技有限公司 | 对象跟踪方法、装置、电子设备及可读存储介质 |
CN111932590B (zh) * | 2020-09-28 | 2021-03-16 | 创新奇智(广州)科技有限公司 | 对象跟踪方法、装置、电子设备及可读存储介质 |
CN112560592A (zh) * | 2020-11-30 | 2021-03-26 | 深圳市商汤科技有限公司 | 图像处理方法及装置、终端控制方法及装置 |
CN116402857A (zh) * | 2023-04-14 | 2023-07-07 | 北京天睿空间科技股份有限公司 | 一种基于三维标定的运动目标跨镜头跟踪方法 |
CN116402857B (zh) * | 2023-04-14 | 2023-11-07 | 北京天睿空间科技股份有限公司 | 一种基于三维标定的运动目标跨镜头跟踪方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111242987B (zh) | 2024-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111242987B (zh) | 一种目标跟踪方法、装置、电子设备及存储介质 | |
CN111160172B (zh) | 泊车位检测方法、装置、计算机设备和存储介质 | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
US20190266415A1 (en) | Surveillance information generation apparatus, imaging direction estimation apparatus, surveillance information generation method, imaging direction estimation method, and program | |
US8755624B2 (en) | Image registration device and method thereof | |
US8155387B2 (en) | Method and system for position determination using image deformation | |
CN110111388B (zh) | 三维物体位姿参数估计方法及视觉设备 | |
CN105379264A (zh) | 用于成像设备建模与校准的系统和方法 | |
CN111625091B (zh) | 基于ar眼镜的标签叠加方法及装置 | |
CN111915483B (zh) | 图像拼接方法、装置、计算机设备和存储介质 | |
EP3016065A1 (en) | Coordinate computation device and method, and image processing device and method | |
CN105989603A (zh) | 机器视觉图像传感器校准 | |
CN105205459B (zh) | 一种图像特征点类型的识别方法和装置 | |
US20060152584A1 (en) | Method for calculating a transform coordinate on a second video of an object having a target coordinate on a first video and related operation process and video surveillance system | |
CN113029128A (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
CN108444452B (zh) | 目标经纬度和拍摄装置的三维空间姿态的检测方法及装置 | |
Sun et al. | Vision‐based displacement measurement enhanced by super‐resolution using generative adversarial networks | |
JPWO2018142533A1 (ja) | 位置姿勢推定装置および位置姿勢推定方法 | |
JP2012085026A (ja) | 画像処理装置及び画像処理方法 | |
CN111105351B (zh) | 一种视频序列影像拼接方法及装置 | |
CN111652937B (zh) | 车载相机标定方法和装置 | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
CN113344789B (zh) | 图像拼接方法及装置、电子设备、计算机可读存储介质 | |
CN114401362A (zh) | 一种图像显示方法、装置和电子设备 | |
US20190108648A1 (en) | Phase detection auto-focus-based positioning method and system thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |