CN111932590B - 对象跟踪方法、装置、电子设备及可读存储介质 - Google Patents

对象跟踪方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111932590B
CN111932590B CN202011036764.8A CN202011036764A CN111932590B CN 111932590 B CN111932590 B CN 111932590B CN 202011036764 A CN202011036764 A CN 202011036764A CN 111932590 B CN111932590 B CN 111932590B
Authority
CN
China
Prior art keywords
image
tracking frame
camera
projection area
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011036764.8A
Other languages
English (en)
Other versions
CN111932590A (zh
Inventor
汤寅航
王炬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Cisai Tech Co Ltd
Original Assignee
Alnnovation Guangzhou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alnnovation Guangzhou Technology Co ltd filed Critical Alnnovation Guangzhou Technology Co ltd
Priority to CN202011036764.8A priority Critical patent/CN111932590B/zh
Publication of CN111932590A publication Critical patent/CN111932590A/zh
Application granted granted Critical
Publication of CN111932590B publication Critical patent/CN111932590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种对象跟踪方法、装置、电子设备及可读存储介质，涉及图像处理技术领域。该方法包括：获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象。本方案可无需进行特征检测，即可快速且准确地对对象进行识别和跟踪。

Description

对象跟踪方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种对象跟踪方法、装置、电子设备及可读存储介质。
背景技术
现有技术中，对目标进行跟踪的方式一般是通过对目标进行特征检测，以识别目标在每张图像中的位置来对目标进行跟踪。目标如车辆、行人等，由于摄像头的拍摄视角和光线不同等原料，使得同一目标在摄像头采集的图像中可能会存在较大的差异，因此，难以捕捉到足够的特征对目标进行识别，从而无法实现对目标的连续跟踪。
发明内容
本申请实施例的目的在于提供一种对象跟踪方法、装置、电子设备及可读存储介质，用以改善现有技术中通过特征进行对象识别的方式无法进行准确识别的问题。
第一方面，本申请实施例提供了一种对象跟踪方法，所述方法包括：获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象。
在上述实现过程中，通过获取两个摄像头拍摄的图像，然后分别对图像中的对象进行检测，获得两个跟踪框，将其中一个跟踪框进行变换，以将其变换到在另一摄像头下的投影区域，从而可根据另一摄像头下对应的跟踪框以及投影区域来对两个摄像头检测的对象进行识别，以确定两个摄像头检测的两个对象是否是同一对象，本方案可无需进行特征检测，即可快速且准确地对对象进行识别和跟踪。
可选地，所述对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域，包括：
利用获得的仿射变换矩阵对所述第一跟踪框进行仿射变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域。
在上述实现过程中，通过对第一跟踪框进行仿射变换，从而可以更加准确地将第一跟踪框映射到第二摄像头的拍摄区域内。
可选地，所述基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象，包括：
获取所述第二跟踪框与所述投影区域的交并比IoU；
根据所述交并比IoU确定所述第一对象和所述第二对象是否为同一对象。
在上述实现过程中，通过比较第二跟踪框和投影区域的交并比IoU，从而可以准确获得第二跟踪框与投影区域的重叠度，以实现对同一对象的准确识别。
可选地，所述根据所述交并比IoU确定所述第一对象和所述第二对象是否为同一对象，包括：
在所述交并比IoU大于预设值时，确定所述第一对象和所述第二对象为同一对象。
在上述实现过程中，在交并比IoU大于预设值时，则认为是同一对象，可有效提高对象识别的准确性。
可选地，所述方法还包括：
对所述第一图像进行检测，获得所述第一对象的第一特征信息；
对所述第二图像进行检测，获得所述第二对象的第二特征信息；
所述基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象，包括：
基于所述第二跟踪框、所述投影区域、所述第一特征信息和所述第二特征信息，确定所述第一对象和所述第二对象是否为同一对象。
在上述实现过程中，通过结合特征信息、投影区域和第二跟踪框，可以更加准确地对对象进行识别。
可选地，所述基于所述第二跟踪框、所述投影区域、所述第一特征信息和所述第二特征信息，确定所述第一对象和所述第二对象是否为同一对象，包括：
获取所述第二跟踪框与所述投影区域的交并比IoU；
获取所述第一特征信息与所述第二特征信息的相似度；
当所述交并比IoU大于预设值且所述相似度大于预设相似度，则确定所述第一对象和所述第二对象为同一对象，从而可有效提高对象识别的准确性。
可选地，所述第一图像与所述第二图像为针对所述第一摄像头与所述第二摄像头的重叠拍摄区域所拍摄的图像。这样针对重叠区域内的对象进行检测，可实现对对象的连续跟踪。
第二方面，本申请实施例提供了一种对象跟踪装置，所述装置包括：
图像获取模块，用于获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；
图像检测模块，用于对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；以及对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；
变换模块，用于对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；
对象识别模块，用于基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象。
可选地，所述变换模块，用于利用获得的仿射变换矩阵对所述第一跟踪框进行仿射变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域。
可选地，所述对象识别模块，用于获取所述第二跟踪框与所述投影区域的交并比IoU；根据所述交并比IoU确定所述第一对象和所述第二对象是否为同一对象。
可选地，所述对象识别模块，用于在所述交并比IoU大于预设值时，确定所述第一对象和所述第二对象为同一对象。
可选地，所述装置还包括：
特征检测模块，用于对所述第一图像进行检测，获得所述第一对象的第一特征信息；对所述第二图像进行检测，获得所述第二对象的第二特征信息；
所述对象识别模块，用于基于所述第二跟踪框、所述投影区域、所述第一特征信息和所述第二特征信息，确定所述第一对象和所述第二对象是否为同一对象。
可选地，所述对象识别模块，用于获取所述第二跟踪框与所述投影区域的交并比IoU；获取所述第一特征信息与所述第二特征信息的相似度；当所述交并比IoU大于预设值且所述相似度大于预设相似度，则确定所述第一对象和所述第二对象为同一对象。
可选地，所述第一图像与所述第二图像为针对所述第一摄像头与所述第二摄像头的重叠拍摄区域所拍摄的图像。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种用于执行对象跟踪方法的电子设备的结构示意图；
图2为本申请实施例提供的一种对象跟踪方法的流程图；
图3为本申请实施例提供的一种跟踪框变换的示意图；
图4为本申请实施例提供的一种对象跟踪装置的结构框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述。
本申请实施例提供一种对象跟踪方法，该方法通过获取两个摄像头拍摄的图像，然后分别对图像中的对象进行检测，获得两个跟踪框，将其中一个跟踪框进行变换，以将其变换到在另一摄像头下的投影区域，从而可根据另一摄像头下对应的跟踪框以及投影区域来对两个摄像头检测的对象进行识别，以确定两个摄像头检测的两个对象是否是同一对象，本方案可无需进行特征检测，即可快速且准确地对对象进行识别和跟踪。
请参照图1，图1为本申请实施例提供的一种用于执行对象跟踪方法的电子设备的结构示意图，所述电子设备可以包括：至少一个处理器110，例如CPU，至少一个通信接口120，至少一个存储器130和至少一个通信总线140。其中，通信总线140用于实现这些组件直接的连接通信。其中，本申请实施例中设备的通信接口120用于与其他节点设备进行信令或数据的通信。存储器130可以是高速RAM存储器，也可以是非易失性的存储器（non-volatilememory），例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处理器的存储装置。存储器130中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器110执行时，电子设备执行下述图2所示方法过程，例如，存储器130可用于存储摄像头拍摄的图像，处理器110可用于对图像进行检测，并生成针对图像中的对象的跟踪框，并对跟踪框进行转换，以识别摄像头拍摄的对象是否为同一对象。
可以理解，图1所示的结构仅为示意，所述电子设备还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，图2为本申请实施例提供的一种对象跟踪方法的流程图，该方法包括如下步骤：
步骤S110：获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像。
其中，本申请实施例中所指的对象可以是指任意活动的对象，如行人、车辆、动物等，为了便于描述，下述实施例中均以车辆为例进行描述。
在一些应用场景下，如停车场、商场、加油站等地方，为了实现对车辆的追踪，往往安装有多个摄像头，以实现对该场景内不同区域的覆盖。这些摄像头因安装位置和角度不同，具有不同的视野和视角，如对于一个车辆，其活动轨迹往往会跨越多个摄像头的视野。
场景内安装的摄像头可以实时对其视野内的区域进行拍摄，以拍摄获得其视野内的图像。如第一摄像头可以将拍摄获得的第一图像发送给电子设备，第二摄像头也可以将拍摄获得的第二图像发送给电子设备，或者电子设备也可以实时从第一摄像头和第二摄像头那主动获取图像，如电子设备可向第一摄像头和第二摄像头发送图像获取指令，第一摄像头和第二摄像头接收到该图像获取指令后，可向电子设备发送采集的图像。如此，电子设备可获得第一图像和第二图像，然后对第一图像和第二图像进行后续地分析。
步骤S120：对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框。
步骤S130：对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框。
在一些实施方式中，可以采用相应的检测算法，对第一图像和第二图像进行检测，并针对图像中的各个对象生成相应的跟踪框，如针对第一图像中的第一对象生成第一跟踪框，针对第二图像中的第二对象生成第二跟踪框。可以理解地，第一跟踪框所框选的区域内包含第一对象，第二跟踪框所框选的区域内包含第二对象。当然，若第一图像中包含有多个对象，则会针对每个对象生成一个跟踪框，即每个跟踪框所框选的区域内包含一个对象，对于第二图像也如此。
在一些其他实施方式中，还可以采用神经网络模型来对第一图像和第二图像进行检测，神经网络模型可以为如卷积神经网络模型、循环神经网络模型等。通过神经网络模型对第一图像和第二图像中的各个对象进行检测，生成各个对象对应的跟踪框。如在对象为车辆时，则神经网络模型对图像中的车辆进行检测，生成车辆的跟踪框。
可以理解地，利用神经网络模型对图像中的对象进行检测，生成对应的跟踪框的过程中，可以预先对神经网络模型进行训练，以提高其检测的准确性。而具体的检测过程可参照现有技术中的相关实现过程，在此不过多描述。
上述生成的跟踪框可以包括用于描述该跟踪框的相关信息，如包括跟踪框标识、跟踪框大小（如宽度和长度等）和跟踪框位置（如位置坐标）等信息，即根据第一跟踪框可确定第一对象在第一图像中的位置区域，根据第二跟踪框可确定第二对象在第二图像中的位置区域，第一对象和第二对象可以是指同一类别的对象，如均是指车辆等。
需要说明的是，上述步骤S120和步骤S130之间的执行顺序没有先后之分，在实际应用中，可以同时执行，也可以先执行步骤S120再执行步骤S130，也可以先执行步骤S130后再执行步骤S120，其执行顺序可视实际情况而定。
步骤S140：对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域。
场景内的摄像头安装之后，可以认为摄像头的位置和视野是确定的，即第一摄像头和第二摄像头的位置和视野是确定的，这样第一摄像头和第二摄像头之间的相互关系也是确定，从而可以利用第一摄像头和第二摄像头之间的这种相互关系，来对第一跟踪框进行变换，获得第一跟踪框在第二摄像头的拍摄区域内的投影区域。
也就是说，将第一跟踪框映射到第二摄像头的视野区域内的一个投影区域，该投影区域可以认为是第一对象移动到第二摄像头的视野范围内时，其检测到的跟踪框的区域。
步骤S150：基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象。
在获得第二跟踪框和投影区域后，可根据这两个区域确定第一对象和第二对象是否为同一对象。可以理解地，若针对同一对象检测获得跟踪框理论上其大小应该是一样的，则将第一跟踪框变换后获得的投影区域也应该与第二跟踪框具有一定的重叠区域。
在一些实施方式中，可以获取第二跟踪框与投影区域的重叠区域的大小，在重叠区域大于一定值时，则可认为第一对象和第二对象为同一对象，若重叠区域较小时，则认为第一对象和第二对象不是同一对象。
根据上述方式确定出第一对象和第二对象是否为同一对象后，对于第三摄像头拍摄的图像中的第三对象，也可以按照上述方式判断第三对象是否和第二对象为同一对象，如此可实现跨摄像头对同一对象的追踪，如可根据每个摄像头拍摄获得的该对象的位置，获得该对象的移动轨迹，从而实现对该对象的跟踪。
在上述实现过程中，通过获取两个摄像头拍摄的图像，然后分别对图像中的对象进行检测，获得两个跟踪框，将其中一个跟踪框进行变换，以将其变换到在另一摄像头下的投影区域，从而可根据另一摄像头下对应的跟踪框以及投影区域来对两个摄像头检测的对象进行识别，以确定两个摄像头检测的两个对象是否是同一对象，本方案可无需进行特征检测，即可快速且准确地对对象进行识别和跟踪。
在一些实施方式中，上述步骤S140中获得投影区域的方式可以为：利用获得的仿射变换矩阵对第一跟踪框进行仿射变换，获得第一跟踪框在第二摄像头的拍摄区域内的投影区域。
其中，因为两个摄像头的安装位置和角度不同，所以，其中一个摄像头成像视野中的某点在另一摄像头的成像视野中的某点具有一定的投射关系，例如，第一摄像头中的某点（x,y）透射到第二摄像头中的某点（x’，y’），则其对应的变换关系为：
Figure 248588DEST_PATH_IMAGE001
；
其中，T即为仿射变换矩阵，该仿射变换矩阵可以是通过预先试验获得的，如获取第一摄像头的拍摄区域的多个坐标点，以及获取第二摄像头的拍摄区域的多个坐标点，根据这些坐标点即可按照上述公式反解出相应的仿射变换矩阵。
可以理解地，第一跟踪框可以为矩形，对第一跟踪框进行仿射变换可以是指将第一跟踪框的四个矩形角点的坐标进行仿射变换，根据上述方式变换后可获得四个点的坐标，由该四个点组成的区域即为投影区域。
在上述实现过程中，通过对第一跟踪框进行仿射变换，从而可以更加准确地将第一跟踪框映射到第二摄像头的拍摄区域内。
在一些其他实施方式中，对第一跟踪框进行变换的方式还可以为：利用获得的透视变换矩阵对第一跟踪框进行透视变换，该透视变换矩阵也可以预先根据试验获得的。
透视变换的本质是将图像投影到一个新的视平面，其通用变换公式为：
Figure 169271DEST_PATH_IMAGE002
；
其中，x,y为第一跟踪框的各个角点在第一图像中的坐标，（x1=x’/w’，y1=y’/w’）为变换之后的坐标。
按照该方式也可将第一跟踪框进行变换，以获得其投射到第二摄像头的拍摄区域内的投影区域。
在本申请实施例中，第一图像与第二图像为针对第一摄像头与第二摄像头的重叠区域所拍摄的图像。
可以理解地，为了实现对车辆追踪的连续性，第一摄像头和第二摄像头的视野存在一部分交叉区域，即重叠区域。当车辆行驶到交叉区域时，第一摄像头和第二摄像头均能拍摄到该车辆，因此可以预先对第一摄像头和第二摄像头的重叠区域进行标记，在获得第一图像和第二图像后，可对第一图像和第二图像进行识别，如识别第一图像中的第一对象是否位于重叠区域，以及第二图像中的第二对象是否位于重叠区域内，若是，则生成针对第一对象的第一跟踪框和针对第二对象的第二跟踪框。
如图3所示，跟踪框是指车辆在图像中的外接矩形，第一摄像头（即图中的摄像头1）在视野1拍摄获得第一图像，生成第一图像中针对车辆的第一跟踪框，通过对第一跟踪框进行仿射变换后，其第一跟踪框被转换为对应的平行四边形（如图3中的追踪框2），可通过对比通过仿射变换获得的平行四边形区域和该第二摄像头（即图中的摄像头2）内直接通过图像检测获得的第二跟踪框（如图3中的追踪框1），来确定在重叠区域中两个摄像头分别检测跟踪到的车辆是否为同一车辆，从而达到对车辆进行跨摄像头连续跟踪的目的。
在一些实施方式中，上述获得投影区域和第二跟踪框后，判断第一对象和第二对象是否为同一对象的方式可以包括：获取第二跟踪框与投影区域的交并比IoU，然后根据该交并比IoU确定第一对象和第二对象是否为同一对象。
其中，交并比IoU为第二跟踪框和投影区域的交集和并集的比值，在该交并比IoU大于预设值时，可确定第一对象和第二对象为同一对象，在该交并比IoU小于或等于预设值时，可确定第一对象和第二对象不是同一对象。当然，也可以是交并比IoU大于或等于预设值时，就确定第一对象和第二对象为同一对象。
在上述实现过程中，通过比较第二跟踪框和投影区域的交并比IoU，从而可以准确获得第二跟踪框与投影区域的重叠度，以实现对同一对象的准确识别。
在一些实施方式中，为了对对象进行更准确地识别，还可以结合图像特征对对象进行识别，其具体实现过程为：对第一图像进行检测，获得第一对象的第一特征信息，对第二图像进行检测，获得第二对象的第二特征信息，然后可基于第二跟踪框、投影区域、第一特征信息和第二特征信息，确定第一对象和第二对象是否为同一对象。
其中，可以通过神经网络模型对第一图像和第二图像进行检测，分别获得第一特征信息和第二特征信息，当然也可以采用其他图像检测算法来提取第一特征信息和第二特征信息，其获得特征信息的具体实现过程可以参照现有技术中的相关实现方式，在此不过多描述。
车辆的特征信息可以包括车辆的大小、轮廓、颜色等特征信息，这样在获得第一特征信息和第二特征信息后，可以将两个特征信息进行比对，以比对两个特征信息是否相似，并结合第二跟踪框和投影区域来判断两个对象是否为同一对象。通过结合特征信息、投影区域和第二跟踪框，可以更加准确地对对象进行识别。
在具体实现过程中，可以获取第二跟踪框与投影区域的交并比IoU，以及获取第一特征信息和第二特征信息的相似度，在交并比IoU大于预设值且相似度大于预设相似度时，则确定第一对象和第二对象为同一对象。
其中，预设值和预设相似度可以根据实际需求灵活设置具体数值，在一些实施方式中，也可以是在交并比IoU大于或等于预设值且相似度大于或等于预设相似度时，则确定第一对象和第二对象为同一对象，从而可有效提高对象识别的准确性。
另外，需要说的是，上述实施例中是以第一对象和第二对象均为车辆为例，若第一图像中存在两个以上的车辆，第二图像中也存在两个以上的车辆时，则对第一图像进行检测，生成两个以上的第一跟踪框，对第二图像进行检测，也会生成两个以上的第二跟踪框，在将第一跟踪框进行变换后，获得两个以上的投影区域。
在基于投影区域和第二跟踪框确定第一对象和第二对象是否为同一对象的过程中，可以分别计算每个投影区域与每个第二跟踪框的交并比IoU，这样可获得多个交并比IoU，可从多个交并比IoU中确定最大的交并比IoU，然后再将最大的交并比IoU与预设值进行比较，若最大的交并比IoU大于或等于预设值，则认为该最大的交并比IoU所涉及的两个对象为同一对象。
还需要说明的是，上述实施例中是针对第一跟踪框进行变换，以获得其在第二摄像头的拍摄区域内的投影区域，在实际情况中，还可以是对第二跟踪框进行变换，获得其在第一摄像头的拍摄区域内的投影区域，然后基于该投影区域与第一跟踪框来判断第一对象和第二对象是否为同一对象，其判断方式与上述实施例所描述的方式类似，具体实现过程可参照上述实施例的描述，在此不再重复描述。
请参照图4，图4为本申请实施例提供的一种对象跟踪装置200的结构框图，该装置200可以是电子设备上的模块、程序段或代码。应理解，该装置200与上述图2方法实施例对应，能够执行图2方法实施例涉及的各个步骤，该装置200具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
可选地，所述装置200包括：
图像获取模块210，用于获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；
图像检测模块220，用于对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；以及对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；
变换模块230，用于对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；
对象识别模块240，用于基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象。
可选地，所述变换模块230，用于利用获得的仿射变换矩阵对所述第一跟踪框进行仿射变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域。
可选地，所述对象识别模块240，用于获取所述第二跟踪框与所述投影区域的交并比IoU；根据所述交并比IoU确定所述第一对象和所述第二对象是否为同一对象。
可选地，所述对象识别模块240，用于在所述交并比IoU大于预设值时，确定所述第一对象和所述第二对象为同一对象。
可选地，所述装置200还包括：
特征检测模块，用于对所述第一图像进行检测，获得所述第一对象的第一特征信息；对所述第二图像进行检测，获得所述第二对象的第二特征信息；
所述对象识别模块240，用于基于所述第二跟踪框、所述投影区域、所述第一特征信息和所述第二特征信息，确定所述第一对象和所述第二对象是否为同一对象。
可选地，所述对象识别模块240，用于获取所述第二跟踪框与所述投影区域的交并比IoU；获取所述第一特征信息与所述第二特征信息的相似度；当所述交并比IoU大于预设值且所述相似度大于预设相似度，则确定所述第一对象和所述第二对象为同一对象。
可选地，所述第一图像与所述第二图像为针对所述第一摄像头与所述第二摄像头的重叠拍摄区域所拍摄的图像。
需要说明的是，本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再重复描述。
本申请实施例提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图2所示方法实施例中电子设备所执行的方法过程。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如，包括：获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象。
综上所述，本申请实施例提供一种对象跟踪方法、装置、电子设备及可读存储介质，通过获取两个摄像头拍摄的图像，然后分别对图像中的对象进行检测，获得两个跟踪框，将其中一个跟踪框进行变换，以将其变换到在另一摄像头下的投影区域，从而可根据另一摄像头下对应的跟踪框以及投影区域来对两个摄像头检测的对象进行识别，以确定两个摄像头检测的两个对象是否是同一对象，本方案可无需进行特征检测，即可快速且准确地对对象进行识别和跟踪。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种对象跟踪方法，其特征在于，所述方法包括：
获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；
对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；
对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；
对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；
基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象；
其中，所述第一对象和所述第二对象的类别相同且所述类别为车辆；
所述方法还包括：
对所述第一图像进行检测，获得所述第一对象的第一特征信息；
对所述第二图像进行检测，获得所述第二对象的第二特征信息；
所述基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象，包括：
获取所述第二跟踪框与所述投影区域的交并比IoU；
获取所述第一特征信息与所述第二特征信息的相似度；
当所述交并比IoU大于预设值且所述相似度大于预设相似度，则确定所述第一对象和所述第二对象为同一对象。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域，包括：
利用获得的仿射变换矩阵对所述第一跟踪框进行仿射变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域。
3.根据权利要求1所述的方法，其特征在于，所述基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象，包括：
获取所述第二跟踪框与所述投影区域的交并比IoU；
根据所述交并比IoU确定所述第一对象和所述第二对象是否为同一对象。
4.根据权利要求3所述的方法，其特征在于，所述根据所述交并比IoU确定所述第一对象和所述第二对象是否为同一对象，包括：
在所述交并比IoU大于预设值时，确定所述第一对象和所述第二对象为同一对象。
5.根据权利要求1-4任一所述的方法，其特征在于，所述第一图像与所述第二图像为针对所述第一摄像头与所述第二摄像头的重叠拍摄区域所拍摄的图像。
6.一种对象跟踪装置，其特征在于，所述装置包括：
图像获取模块，用于获取第一摄像头拍摄的第一图像以及获取第二摄像头拍摄的第二图像；
图像检测模块，用于对所述第一图像进行检测，生成针对所述第一图像中的第一对象的第一跟踪框；以及对所述第二图像进行检测，生成针对所述第二图像中的第二对象的第二跟踪框；
变换模块，用于对所述第一跟踪框进行变换，获得所述第一跟踪框在所述第二摄像头的拍摄区域内的投影区域；
对象识别模块，用于基于所述第二跟踪框以及所述投影区域，确定所述第一对象和所述第二对象是否为同一对象；
其中，所述第一对象和所述第二对象的类别相同且所述类别为车辆；
所述装置还包括：
特征检测模块，用于对所述第一图像进行检测，获得所述第一对象的第一特征信息；对所述第二图像进行检测，获得所述第二对象的第二特征信息；
所述对象识别模块，用于获取所述第二跟踪框与所述投影区域的交并比IoU；获取所述第一特征信息与所述第二特征信息的相似度；当所述交并比IoU大于预设值且所述相似度大于预设相似度，则确定所述第一对象和所述第二对象为同一对象。
7.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-5任一所述的方法。
8.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-5任一所述的方法。
CN202011036764.8A 2020-09-28 2020-09-28 对象跟踪方法、装置、电子设备及可读存储介质 Active CN111932590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011036764.8A CN111932590B (zh) 2020-09-28 2020-09-28 对象跟踪方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011036764.8A CN111932590B (zh) 2020-09-28 2020-09-28 对象跟踪方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111932590A CN111932590A (zh) 2020-11-13
CN111932590B true CN111932590B (zh) 2021-03-16

Family

ID=73334258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036764.8A Active CN111932590B (zh) 2020-09-28 2020-09-28 对象跟踪方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111932590B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434596A (zh) * 2020-11-20 2021-03-02 中国建设银行股份有限公司 一种人员追踪方法、系统、电子设备及可读存储介质
CN113393492A (zh) * 2021-05-27 2021-09-14 浙江大华技术股份有限公司 目标跟踪方法、装置、电子装置和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN109785368A (zh) * 2017-11-13 2019-05-21 腾讯科技（深圳）有限公司 一种目标跟踪方法和装置
CN110610202A (zh) * 2019-08-30 2019-12-24 联想(北京)有限公司 一种图像处理方法及电子设备
CN111242987A (zh) * 2020-01-08 2020-06-05 北京天正聚合科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN111461222A (zh) * 2020-04-01 2020-07-28 北京爱笔科技有限公司 目标物轨迹相似度的获取方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275286B2 (en) * 2014-05-15 2016-03-01 Xerox Corporation Short-time stopping detection from red light camera videos
US20170083790A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
US10867393B2 (en) * 2018-03-22 2020-12-15 Texas Instruments Incorporated Video object detection
CN108875588B (zh) * 2018-05-25 2022-04-15 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109785368A (zh) * 2017-11-13 2019-05-21 腾讯科技（深圳）有限公司 一种目标跟踪方法和装置
CN108229456A (zh) * 2017-11-22 2018-06-29 深圳市商汤科技有限公司 目标跟踪方法和装置、电子设备、计算机存储介质
CN110610202A (zh) * 2019-08-30 2019-12-24 联想(北京)有限公司 一种图像处理方法及电子设备
CN111242987A (zh) * 2020-01-08 2020-06-05 北京天正聚合科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN111461222A (zh) * 2020-04-01 2020-07-28 北京爱笔科技有限公司 目标物轨迹相似度的获取方法、装置及电子设备

Also Published As

Publication number Publication date
CN111932590A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US10990830B2 (en) Auto-calibration of tracking systems
TWI750498B (zh) 視訊流的處理方法和裝置
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
CN111079600A (zh) 多摄像头的行人识别方法及识别系统
CN111932590B (zh) 对象跟踪方法、装置、电子设备及可读存储介质
CN111860352B (zh) 一种多镜头车辆轨迹全跟踪系统及方法
CN111027462A (zh) 跨多摄像头的行人轨迹识别方法
CN112435223B (zh) 目标检测方法、装置及存储介质
CN105934757A (zh) 一种用于检测第一图像的关键点和第二图像的关键点之间的不正确关联关系的方法和装置
Fregin et al. Three ways of using stereo vision for traffic light recognition
Xia et al. Vehicles overtaking detection using RGB-D data
CN111144404B (zh) 遗留物体检测方法、装置、系统、计算机设备和存储介质
Rahim et al. An adapted point based tracking for vehicle speed estimation in linear spacing
US9392146B2 (en) Apparatus and method for extracting object
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
TWI774543B (zh) 障礙物偵測方法
CN116958195A (zh) 物件追踪整合方法及整合装置
US20210034915A1 (en) Method and apparatus for object re-identification
US10776928B1 (en) Efficient egomotion estimation using patch-based projected correlation
CN113592917A (zh) 一种摄像机目标交接方法和交接系统
Jelača et al. Real-time vehicle matching for multi-camera tunnel surveillance
Zhao et al. Person re-id testbed with multi-modal sensors
He et al. Lane Detection and Tracking through Affine Rectification.
CN112489240B (zh) 一种商品陈列巡检方法、巡检机器人以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: 17-1 #, No. 7, Huasheng Road, Yuzhong District, Chongqing 400,043

Patentee after: Chongqing qisaidi Technology Co.,Ltd.

Address before: 510700 room 1001, building A2, No.23, puyuzhong Road, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: ALNNOVATION (GUANGZHOU) TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right