CN115221981B - 一种目标跟踪方法、装置、终端设备及存储介质 - Google Patents
一种目标跟踪方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN115221981B CN115221981B CN202211142791.2A CN202211142791A CN115221981B CN 115221981 B CN115221981 B CN 115221981B CN 202211142791 A CN202211142791 A CN 202211142791A CN 115221981 B CN115221981 B CN 115221981B
- Authority
- CN
- China
- Prior art keywords
- target
- tracking
- point
- area
- reference point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
- G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
- G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请适用于数据处理技术领域,提供了一种目标跟踪方法、装置、终端设备及存储介质,该方法包括:获取跟踪目标在第i个时刻的预测状态数据和跟踪目标在第i个时刻的实测状态数据;然后从跟踪目标所在的跟踪区域中选取至少两个第一点,按照每个第一点的选取规则,从跟踪目标所在的观测区域中选取至少两个第二点;基于第一点的位置和与第一点相匹配的第二点的位置,计算第一点和与第一点相匹配的第二点之间的距离值;根据计算的所有距离值选取跟踪区域的参考点和观测区域的参考点;最后基于跟踪区域的参考点的预测状态数据和观测区域的参考点的实测状态数据对跟踪目标进行跟踪。本申请通过选取合适的参考值,可以使目标追踪更准确。
Description
技术领域
本申请属于数据处理技术领域,尤其涉及一种目标跟踪方法、装置、终端设备及存储介质。
背景技术
随着人工智能的发展,目标追踪技术在生产生活中得到越来越多的应用,例如,在自动驾驶领域对障碍物进行目标跟踪,以使得车辆进行避障。
在进行目标跟踪时,均会固定的选取待跟踪目标上的中心点作为跟踪点对其进行目标追踪。常常由于选取的跟踪不合理,跟踪点并不适用于当前环境,造成目标跟踪不准确。
发明内容
本申请实施例提供了一种目标跟踪方法、装置、终端设备及存储介质,可以解决目前跟踪点的选取不合理,造成目标跟踪不准确的问题。
第一方面,本申请实施例提供了一种目标跟踪方法,包括:
获取跟踪目标在第i个时刻的预测状态数据和所述跟踪目标在第i个时刻的实测状态数据,所述预测状态数据包括预测位置,所述实测状态数据包括实测位置;
从所述跟踪目标所在的跟踪区域中选取至少两个第一点,所述跟踪区域根据所述跟踪目标在所述第i个时刻的所述预测位置确定;
按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点,选取规则相同的第一点和第二点为相互匹配的点,所述观测区域根据所述跟踪目标在所述第i个时刻的所述实测位置确定;
基于所述第一点的第一位置信息和目标点的第二位置信息,分别计算各个所述第一点与所述目标点之间的距离值,其中,所述目标点为与所述第一点相匹配的第二点,所述第一位置信息基于所述第一点在所述跟踪区域中的位置确定,所述第二位置信息基于所述目标点在所述观测区域中的位置确定;
基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,其中,所述跟踪区域的参考点为至少两个所述第一点中的一个,所述观测区域的参考点为与所述跟踪区域的参考点相匹配的第二点;
基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪。
第二方面,本申请实施例提供了一种目标跟踪装置,包括:
数据获取模块,用于获取跟踪目标在第i个时刻的预测状态数据和所述跟踪目标在第i个时刻的实测状态数据,所述预测状态数据包括预测位置,所述实测状态数据包括实测位置;
第一点选取模块,用于从所述跟踪目标所在的跟踪区域中选取至少两个第一点,所述跟踪区域根据所述跟踪目标在所述第i个时刻的所述预测位置确定;
第二点选取模块,用于按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点,选取规则相同的第一点和第二点为相互匹配的点,所述观测区域根据所述跟踪目标在所述第i个时刻的所述实测位置确定;
差值计算模块,用于基于所述第一点的第一位置信息和目标点的第二位置信息,分别计算各个所述第一点与所述目标点之间的距离值,其中,所述目标点为与所述第一点相匹配的第二点,所述第一位置信息基于所述第一点在所述跟踪区域中的位置确定,所述第二位置信息基于所述目标点在所述观测区域中的位置确定;
参考点查找模块,用于基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,其中,所述跟踪区域的参考点为至少两个所述第一点中的一个,所述观测区域的参考点为与所述跟踪区域的参考点相匹配的第二点;
目标跟踪模块,用于基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪。
第三方面,本申请实施例提供了一种终端设备,包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的目标跟踪方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中任一项所述的目标跟踪方法。
第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的目标跟踪方法。
本申请第一方面实施例与现有技术相比存在的有益效果是:本申请先获取跟踪目标在第i个时刻的预测状态数据和跟踪目标在第i个时刻的实测状态数据;然后从跟踪目标所在的跟踪区域中选取至少两个第一点,按照每个第一点的选取规则,从跟踪目标所在的观测区域中选取至少两个第二点;基于第一点的第一位置信息和与第一点相匹配的第二点的第二位置信息,计算第一点和与第一点相匹配的第二点之间的距离值;根据计算的所有距离值选取跟踪区域的参考点和观测区域的参考点;最后基于跟踪区域的参考点的预测状态数据和观测区域的参考点的实测状态数据,对跟踪目标进行跟踪。本申请在确定参考点,也就是跟踪点时,通过比较选取的点之间的距离,选取合适的参考点,本申请是从多个点中选取参考值,且在选取参考点时考虑了相互匹配的点之间的偏差,而并非直接使用中心点作为参考点,本申请选取的参考点根据当前实际场景而确定,进而可以使选取的参考点更合理,使目标追踪更准确。
可以理解的是,上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的目标跟踪方法的流程示意图;
图2是本申请一实施例提供的跟踪框和检测框的结构示意图;
图3是本申请一实施例提供的跟踪目标的目标状态确定的结构示意图;
图4是本申请一实施例提供的跟踪目标的实测状态数据的确定方法的流程示意图;
图5是本申请一实施例提供的跟踪目标和第一目标进行关联的结构示意图;
图6是本申请一实施例提供的利用匈牙利算法确定匹配的目标的结构示意图;
图7是本申请一实施例提供的目标跟踪装置的结构示意图;
图8是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当……时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
目前,在进行目标跟踪时,多采用单一类型的传感器(同源传感器)采集目标的信息,由于同源传感器采集的信息比较单一,因此,在对目标进行跟踪时,获得的目标的信息较少,信息内容不够丰富。
基于上述原因,本申请提出一种目标跟踪方法,采用多源传感器(多种类型的传感器,例如,激光雷达、摄像头等)共同采集目标的信息,然后将多源传感器采集的信息进行融合,得到的更丰富的信息。
另外,本申请在确定参考点时是从稳定的检测点和中心点中筛选得到,使得选取的参考点更稳定、更准确,利用稳定且准确的参考点对目标进行跟踪,提高了目标跟踪的准确性和稳定性。
图1示出了本申请提供的目标跟踪方法的示意性流程图,参照图1,对该方法的详述如下:
S101,获取跟踪目标在第i个时刻的预测状态数据和所述跟踪目标在第i个时刻的实测状态数据,所述预测状态数据包括预测位置,所述实测状态数据包括实测位置。
其中,i≥2。预测状态数据为基于跟踪目标在第i-1个时刻的状态预测的跟踪目标在第i个时刻的状态。具体的,将跟踪目标在第i-1个时刻的状态输入至卡尔曼滤波模型,预测跟踪目标在第i个时刻的预测状态数据。将跟踪目标在第i-2个时刻的状态和通过传感器探测到的跟踪目标在第i-1个时刻的状态输入至卡尔曼滤波模型,得到跟踪目标在第i-1个时刻的状态。
实测状态数据为在第i个时刻通过至少两种传感器探测到的所述跟踪目标的状态。至少两个传感器为不同类型的多源传感器,至少两个传感器可以包括毫米波雷达(Radar)、激光雷达(Lidar)和摄像机(Camera)等。实测状态数据可以通过多源传感器采集的数据进行融合后得到。
跟踪目标包括人、动物、车辆等。跟踪目标为至少一个。
跟踪目标的状态可以包括跟踪目标的移动速度、加速度、位置信息等。若跟踪目标为车辆,跟踪目标的状态还可以包括车辆的航向角等。相应的,预测状态数据和实测状态数据均可以包括跟踪目标的移动速度、加速度、位置信息等。
S102,从所述跟踪目标所在的跟踪区域中选取至少两个第一点。
其中,所述跟踪区域根据所述跟踪目标在所述第i个时刻的所述预测位置确定。
预测位置可以包括跟踪目标在实际环境中的位置(经度和纬度)和跟踪目标在第i个时刻采集的帧图像中的位置(坐标)。
S103,按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点。
其中,选取规则相同的第一点和第二点为相互匹配的点,所述观测区域根据所述跟踪目标在所述第i个时刻的所述实测位置确定。实测位置可以包括跟踪目标在实际环境中的位置(经度和纬度)和跟踪目标在第i个时刻采集的帧图像中的位置(坐标)。
在本实施例中,在进行目标跟踪时,根据跟踪目标在第i个时刻的预测位置,在第i个时刻采集的帧图像中以跟踪框的形式标注出跟踪目标。根据跟踪目标在第i个时刻的实测位置,在第i个时刻采集的帧图像中以检测框的形式标注出跟踪目标。如图2所示,帧图像中的实线框为跟踪目标的跟踪框,虚线为跟踪目标的检测框。跟踪框和检测框均可以为方形框,跟踪框所围起来的区域为跟踪区域,跟踪区域包括跟踪框。检测框所围起来的区域为检测区域,检测区域包括检测框。因此,跟踪区域和观测区域均为方形区域,在本申请中跟踪区域记为第一方形区域,观测区域记为第二方形区域。作为举例,方形框可以为正方形框或长方形框。
第一点的选取规则与第二点的选取规则相同。例如,选择跟踪框的左上角的点作为第一点,相应的,需要选择检测框的左上角的点作为第二点。第二点的个数与第一点的个数相同。
由于每个第一点均对应一个选取规则,相应的,每个第二点均对应一个选取规则。由于第二点是按照第一点的选取规则选取的,因此,存在选取规则相同的第一点和第二点。
在本实施例中,由于跟踪框的每条边的中点为相对稳定的点。从相对稳定的点和跟踪区域的中心点中确定参考点,可以使确定的参考点更稳定、更合理。另外,使用稳定且合理的参考点对目标进行追踪,解决了目标跟踪不稳定的问题,使目标跟踪更稳定、更精确。
因此,步骤S102的实现过程可以包括:选取所述第一方形区域的每条边的中点和所述第一方形区域的中心点,将所述第一方形区域的每条边的中点和所述第一方形区域的中心点确定为所述第一点。
步骤S102的实现过程可以包括:选取所述第二方形区域的每条边的中点和所述第二方形区域的中心点,将所述第二方形区域的每条边的中点和所述第二方形区域的中心点确定为所述第二点。
作为举例,如图2所示,图中第二方形区域上的5个点为5个第二点,5个第二点中包括4个边的中点和第二方形区域的中心点。
具体的,根据跟踪目标的预测位置可以确定第一方形区域每条边的长度。根据跟踪目标的实测位置可以确定第二方形区域每条边的长度。根据第一方形区域的每条边的长度,确定第一方形区域的每条边的中点和第一方形区域的中心点。根据第二方形区域的每条边的长度,确定第二方形区域的每条边的中点和第二方形区域的中心点。
如图2所示,第一方形区域可以分为上边1、下边2、左边3和右边4。第二方形区域可以分为上边5、下边6、左边7和右边8。第一方形区域的上边1的中心点与第二方形区域的上边5的中心点相匹配。第一方形区域的下边2的中心点与第二方形区域的下边6的中心点相匹配。第一方形区域的左边3的中心点与第二方形区域的左边7的中心点相匹配。第一方形区域的右边4的中心点与第二方形区域的右边8的中心点相匹配。
当然,在实际应用中,还可以选取其他点作为第一点,例如,选取跟踪框的四个角点和跟踪区域的中心点作为第一点。相应的,选取检测框的四个角点和检测区域的中心点作为第二点。
S104,基于所述第一点的第一位置信息和目标点的第二位置信息,分别计算各个所述第一点与所述目标点之间的距离值,其中,所述目标点为与所述第一点相匹配的第二点。
在本实施例中,所述第一位置信息基于所述第一点在所述跟踪区域中的位置确定,所述第二位置信息基于所述目标点在所述观测区域中的位置确定。具体的,由于跟踪区域的四个角点的位置是可以确定的,因此,跟踪区域中任一点的位置均可以确定;又因为第一点在跟踪区域中的位置是已知的,因此,第一点的第一位置信息即可确定。第二位置信息的确定与第一位置信息的确定方法相同。
具体的,步骤S104的实现过程可以包括:
获取所述第一点在第i个时刻采集的帧图像中的位置坐标和所述目标点在所述帧图像中的位置坐标;根据所述第一点的位置坐标和所述目标点的位置坐标,计算所述第一点和所述目标点之间的距离值。
具体的,在帧图像中建立坐标系,得到各个第一点在帧图像中的坐标,以及各个第二点在帧图像中的坐标。
若第一点的个数为5个,第二点的个数为5个,则通过计算可以得到5个距离值。
S105,基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点。
其中,所述跟踪区域的参考点为至少两个所述第一点中的一个,所述观测区域的参考点为与所述跟踪区域的参考点相匹配的第二点。
具体的,查找至少两个所述距离值中的最小差值,所述最小差值对应的第一点为所述跟踪区域的参考点,所述最小差值对应的第二点为所述观测区域的参考点。
可选的,若最小差值对应两个第一点和两个第二点,可以根据预先设置的两个第一点的稳定度确定跟踪区域的参考点。具体的,选取稳定度高的第一点作为跟踪区域的参考点。
可选的,根据第一点在第一方形区域中的位置,确定第一点和目标点对应的稳定度。根据第一点和目标点之间的距离值、距离值对应的权重、第一点的稳定度(第一点和目标点的稳定度相同),得到评价值。根据选取所有评价值中的最大值对应的第一点作为跟踪区域的参考点,评价值中的最大值对应的第二点作为观测区域的参考点。距离值对应的权重可以为一个固定的预设值,还可以是距离值所在的预设区间对应的权重。
作为举例,若距离值为w,权重为r,第一点的稳定度为y,则w×r+y=评价值。
可选的,若第一点包括第一方形区域的四个边中每条边的中点和第一方形区域的中心点,第二点包括第二方形区域的四个边中每条边的中点和第二方形区域的中心点。根据第一方形区域的4个中点和第二方形区域的4个中点可以计算得到4个第一距离值。根据第一方形区域的中心点和第二方形区域的中心点可以计算一个第二距离值。选择第一距离值和第二距离值中的最小值对应的第一点作为跟踪区域的参考点,将第一距离值和第二距离值中的最小值对应的第二点作为检测区域的参考点。
若4个第一距离值中存在2个第一距离值大于第二距离值,或3个第一距离值大于第二距离值,则确定四条边的中点不稳定,则可以将跟踪区域的中心点作为跟踪区域的参考点,将检测区域的中心点作为检测区域的参考点。
S106,基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪。
具体的,将所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据输入至卡尔曼滤波模型中,得到所述跟踪目标在所述第i个时刻的目标状态。
在得到跟踪目标在所述第i个时刻的目标状态后,还可以将所述跟踪目标在所述第i个时刻的目标状态输入至卡尔曼滤波模型,预测所述跟踪目标在所述第i+1时刻的状态。
跟踪区域的参考点的预测状态数据可以包括预测位置、速度、加速度等;其中,预测位置可以根据参考点在跟踪区域中的位置确定;参考点的速度和加速度等均与跟踪目标的速度和加速度相同,因此,参考点的速度和加速度均可以从跟踪目标的预测状态数据中获得。观测区域的参考点的实测状态数据的确定方法与跟踪区域的参考点的预测状态数据的确定方法相同。
卡尔曼滤波模型包括:卡尔曼滤波预测方程和卡尔曼滤波更新方程。
具体的,若预设的跟踪目标的状态变量为:X=[x,y,vx,vy,ψ,ω]T,(x,y)为跟踪目标的位置,(vx,vy)为跟踪目标的速度,ψ为跟踪目标的航向角,ω为跟踪目标的角速度。
卡尔曼滤波预测方程包括:
X i=A×Xi-1+B×ui-1;
P’i=A×Pi-1×AT+Q;
其中,Xi为预测的第i个时刻跟踪目标的状态,也就是预测状态数据;A为状态转移矩阵;Xi-1为跟踪目标在第i-1个时刻的状态;B为输入控制矩阵;ui-1为第i-1时刻外界对系统的作用;P’i为第i个时刻的先验估计协方差;Pi-1为第i-1个时刻的后验估计协方差;AT为状态转移矩阵的转置;Q为预测噪声的协方差矩阵。
卡尔曼滤波更新方程包括:
Ki=P’i×HT(H×P’i×HT+R)-1;
X’i=Xi+Ki(zi-H×Xi);
Pi=(I-Ki×H) P’i;
其中,Ki为第i个时刻的卡尔曼增益;HT为观测矩阵的转置;H为观测矩阵;R为测量噪声协方差矩阵;X’i为跟踪目标在所述第i个时刻的目标状态;zi第i个时刻的观测值,也就是第i个时刻跟踪目标的实测状态数据;Pi为第i个时刻的后验估计协方差;I为单位矩阵。
如图3所示,上一帧为第i-1个时刻采集的图像,上一帧中1_Lidar、2_Lidar和3_Lidar为激光雷达跟踪到的目标;4_Radar为毫米波雷达跟踪到的目标;5_Camera为摄像机跟踪到的目标。当前帧为第i个时刻采集的帧图像,当前帧中存在目标1_Lidar、2_Lidar、3_Lidar和4_Radar。当前帧中箭头所指的4个圆形分别表征跟踪目标1_Lidar、2_Lidar、3_Lidar和4_Radar在第i个时刻的目标位置,也就是利用卡尔曼滤波模型得到的跟踪目标在第i个时刻的最优位置。
本申请实施例中,先获取跟踪目标在第i个时刻的预测状态数据和跟踪目标在第i个时刻的实测状态数据;然后从跟踪目标所在的跟踪区域中选取至少两个第一点,按照每个第一点的选取规则,从跟踪目标所在的观测区域中选取至少两个第二点;基于第一点的第一位置信息和与第一点相匹配的第二点的第二位置信息,计算第一点和与第一点相匹配的第二点之间的距离值;根据计算的所有距离值选取跟踪区域的参考点和观测区域的参考点;最后基于跟踪区域的参考点的预测状态数据和观测区域的参考点的实测状态数据,对跟踪目标进行跟踪。本申请在确定参考点,也就是跟踪点时,通过比较选取的点之间的距离,选取合适的参考点,本申请是从多个点中选取参考值,且在选取参考点时考虑了相互匹配的点之间的偏差,而并非直接使用中心点作为参考点,本申请选取的参考点根据当前实际场景而确定,进而可以使选取的参考点更合理,使目标追踪更准确。
在一种可能的实现方式中,在第i个时刻通过各个传感器探测到各个目标的状态数据后,需要将第i个时刻探测的目标与第i-1个时刻确定的跟踪目标进行关联,以确定跟踪目标在第i个时刻的状态数据,也就是跟踪目标的实测状态数据,本申请中第i个时刻探测到的目标记为第一目标。
具体的,在进行目标关联时,可以先将跟踪目标和第一目标中,同源传感器探测的目标进行关联,例如,若跟踪目标A和第一目标B均为激光雷达探测到的目标,则跟踪目标A和第一目标B为同源传感器探测的目标。在进行同源传感器探测的目标关联时,可以先使用ID(标识信息)进行目标关联,将ID相同的跟踪目标和第一目标进行关联。在使用ID未找到关联的第一目标时,再使用距离进行目标关联,也就是通过跟踪目标和未关联上跟踪目标的第一目标之间的距离,确定可以与跟踪目标关联的第一目标。
在跟踪目标在同源传感器探测的第一目标中找不到可以关联的目标时,进行不同源传感器探测的目标之间关联。例如,若跟踪目标A为摄像机探测的目标;第一目标B均为激光雷达探测到的目标,则跟踪目标A和第一目标B为不同类型的传感器探测的目标,也就是不同源传感器探测的目标。不同源传感器探测的目标之间关联的方法为:根据跟踪目标和和未关联上跟踪目标的第一目标之间的距离,确定可以与跟踪目标关联的第一目标。
如图4所示,具体的,步骤S101中,获取跟踪目标在第i个时刻的实测状态数据的实现过程可以包括:
S1011,获取所述跟踪目标的历史标识信息和通过传感器在所述第i个时刻探测到的各个第一目标,每个第一目标对应一个第一标识信息。
在本实施例中,第i-1个时刻确定的每个跟踪目标均对应一个标识信息,本申请中记为历史标识信息。例如,图5中,上一帧(第i-1个时刻采集的图像)中1_Lidar、2_Lidar、3_Lidar、4_Radar和5_Camera为5个跟踪目标的历史标识信息。
第i个时刻采集的帧图像中存在的目标为第一目标。帧图像可以为点云图像、视频图像等。作为举例,如图5中,当前帧(第i个时刻采集的帧图像)中1_Lidar、2_Lidar、3_Radar和4_Radar为第i个时刻探测到的4个第一目标的第一标识信息。
S1012,查找第一标识信息中是否存在目标标识信息。
其中,所述目标标识信息为与所述历史标识信息相同的第一标识信息。
在本实施例中,历史标识信息和第一标识信息中均存在探测到该目标的传感器的类型,因此,使用标识信息进行目标匹配,也就是同源传感器观测的目标进行匹配。
作为举例,若跟踪目标的历史标识信息为1_Lidar,则说明该跟踪目标是激光雷达观测到的。在查找目标标识信息时,需要查找激光雷达探测的第一目标的第一标识信息。
S1013,若所述第一标识信息中存在所述目标标识信息,则确定所述目标标识信息对应的第一目标为与所述跟踪目标匹配的第一目标。
在本实施例中,若所述第一标识信息中存在所述目标标识信息,则确定第i个时刻观测到跟踪目标。
S1014,获取第二目标在所述第i个时刻的实测状态数据,所述第二目标为所述目标标识信息对应的第一目标,所述第二目标在所述第i个时刻的实测状态数据为所述跟踪目标在第i个时刻的实测状态数据。
在本实施例中,将第二目标与跟踪目标关联。将观测的第二目标在所述第i个时刻的状态数据更新至跟踪目标对应的状态数据中。
作为举例,如图5中,上一帧中的1_Lidar、2_Lidar和4_Radar均可以在当前帧中找到,也就是当前帧中存在1_Lidar、2_Lidar和4_Radar;则确定1_Lidar、2_Lidar和4_Radar对应的跟踪目标均可以使用标识信息(ID)关联上。
当前帧中的1_Lidar与上一帧中的1_Lidar相匹配;当前帧中的2_Lidar与上一帧中的2_Lidar相匹配;当前帧中的4_Radar与上一帧中的4_Radar相匹配。
由于当前帧中不存在3_Lidar,因此,使用标识信息在当前帧中无法找到与3_Lidar匹配的目标。
在一种可能的实现方式中,若所述第一标识信息中不存在所述目标标识信息,则可以采用匈牙利算法确定与跟踪目标匹配的第一目标。已经使用标识信息匹配到跟踪目标的第一目标则不需要再次使用匈牙利算法进行目标匹配。
具体的,在步骤S1012之后,步骤S101还可以包括:
S1015,若所述第一标识信息中不存在所述目标标识信息,基于所述跟踪目标在第i个时刻的预测位置和获取的第三目标在第i个时刻的实测位置,计算所述跟踪目标与第三目标之间的马氏距离,其中,所述第三目标为未匹配到所述跟踪目标的第一目标。
在本实施例中,第三目标需要与跟踪目标计算马氏距离。第三目标为使用标识信息未找到匹配的跟踪目标的第一目标,例如,图5中当前帧中的3_Radar未通过标识信息找到对应的上一帧中的跟踪目标,则需要计算3_Radar与3_Lidar之间的马氏距离。
具体的,各个第一目标与跟踪目标之间的马氏距离的计算方法包括下表1所示:
表1 马氏距离计算方法
其中,3D距离为3D空间中的坐标(x,y,z)之间的距离。像素距离可以为欧式距离、D4距离(城区距离,City-Block Distance)或D8距离(棋盘距离,Chess Board Distance,可直线可斜线)。IOU(Intersection over Union,重叠度)是一种测量在特定数据集中检测相应物体准确度的一个标准。目标点回投为将radar采集和lidar采集的3D目标上的点投影到二维平面上。
S1016,基于计算的所述马氏距离,确定第四目标,所述第四目标为与所述跟踪目标匹配的所述第三目标,所述第四目标在所述第i个时刻的实测状态数据为所述跟踪目标在第i个时刻的实测状态数据,所述第四目标与所述跟踪目标之间的马氏距离小于预设距离。
在本实施例中,若仅存在一个马氏距离,也就是仅有一个跟踪目标和一个第一目标未匹配成功;若该马氏距离小于预设距离,则确定该马氏距离对应的跟踪目标和第一目标相匹配。
若存在多个跟踪目标均未通过标识信息找到与之匹配的第一目标,且存在多个第一目标未找到与之匹配的跟踪目标,则可以得到多个马氏距离。在得到各个马氏距离后,可以先将大于或等于预设距离的马氏距离去除,将剩下的马氏距离组成一个距离矩阵,将该距离矩阵作为匈牙利算法中的系数矩阵进行运算,最终确定相匹配的跟踪目标和第一目标。
具体的,匈牙利算法是二分图匹配最常见的算法,该算法的核心就是寻找增广路径,它是一种用增广路径求二分图最大匹配的算法。匈牙利算法具体包括:
首先从任意的一个未配对的点u开始,从点u的边中任意选一条边(假设这条边是从u−>v)开始配对。如果点v未配对,则配对成功,这是便找到了一条增广路。如果点v已经被配对,就去尝试“连锁反应”,如果这时尝试成功,就更新原来的配对关系。配对成功就将配对数加1。如果刚才所选的边配对失败,那就要从点u 的边中重新选一条边重新去试。直到点u 配对成功,或尝试过点u 的所有边为止。继续对剩下的未配对过的点一一进行配对,直到所有的点都已经尝试完毕,找不到新的增广路为止。输出配对数。作为举例,如图6所示,u中包括点M1至点M5,v中包括点P1至点P5,最终配对为M1与P4匹配,M2与P2匹配,M3与P1匹配。
在一种可能的实现方式中,若所述第一标识信息中不存在所述目标标识信息,则可以采用匈牙利算法确定与跟踪目标匹配的第一目标。具体的,先利用匈牙利算法进行同源传感器采集的目标之间的匹配。已经使用标识信息匹配到跟踪目标的第一目标则不需要再次使用匈牙利算法进行目标匹配。
在利用匈牙利算法进行同源传感器采集的目标之间的匹配时,若未找到与跟踪目标匹配的第一目标,则利用匈牙利算法进行不同源传感器采集的目标之间的匹配,以确定是否存在与跟踪目标匹配的第一目标。
具体的,在步骤S1012之后,步骤S101还可以包括:
查找第三目标中的第五目标,探测到第五目标的传感器的类型与探测到跟踪目标的传感器的类型相同。第三目标为未匹配到所述跟踪目标的第一目标。
利用上述步骤S1015和匈牙利算法从第五目标中确定与跟踪目标匹配的第五目标。
若第五目标中不存在与跟踪目标匹配的第五目标,则利用上述步骤S1015和匈牙利算法从剩余的第一目标中确定与跟踪目标匹配的第一目标。剩余的第一目标为第一目标中除第五目标和匹配到所述跟踪目标的第一目标之外的第一目标,也就是第三目标中的第六目标,探测到第六目标的传感器的类型与探测到跟踪目标的传感器的类型不相同。
本申请实施例中,先利用标识信息确定与跟踪目标匹配的第一目标,在利用标识信息不能确定与跟踪目标匹配的第一目标后,利用两个目标之间的距离确定与跟踪目标匹配的第一目标。本申请考虑了同源传感器观测的目标的匹配和不同源传感器观测的目标的匹配,避免了由于目标较多,标识信息遮挡频繁造成的漏检或误检的现象,使最大程度的确定到跟踪目标的信息。
在一种可能的实现方式中,上述方法还可以包括:
S11,获取第i个时刻采集的帧图像和第i-1个时刻确定的跟踪目标,帧图像中包括观测到的第一目标。
S12,若跟踪目标的历史标识信息与第一目标对应的第一标识信息相同的,则确定该跟踪目标和第一目标相匹配。与跟踪目标相匹配的第一目标对应的实测状态数据为跟踪目标的实测状态数据。
S13,若第一标识信息中不存在与历史标识信息相同的第一标识信息,基于跟踪目标在第i个时刻的预测位置和第一目标在第i个时刻的实测位置,利用匈牙利算法确定与跟踪目标匹配的第一目标。
S14,选取跟踪目标对应的跟踪框的四条边的中点和跟踪框内区域的中心点作为第一点。选取跟踪目标对应的检测框的四条边的中点和检测框内区域的中心点作为第二点。
S15,计算第一点和与之匹配的第二点之间的距离值。
S16,选取5个距离值中的最小值。最小值对应的第一点为跟踪区域的参考点,最小值对应的第二点为检测区域的参考点。
S17,基于预测的所述跟踪区域的参考点的预测状态数据和观测的观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的目标跟踪方法,图7示出了本申请实施例提供的目标跟踪装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图7,该装置200可以包括:数据获取模块210、第一点选取模块220、第二点选取模块230、差值计算模块240、参考点查找模块250和目标跟踪模块260。
其中,数据获取模块210,用于获取跟踪目标在第i个时刻的预测状态数据和所述跟踪目标在第i个时刻的实测状态数据,所述预测状态数据包括预测位置,所述实测状态数据包括实测位置;
第一点选取模块220,用于从所述跟踪目标所在的跟踪区域中选取至少两个第一点,所述跟踪区域根据所述跟踪目标在所述第i个时刻的所述预测位置确定;
第二点选取模块230,用于按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点,选取规则相同的第一点和第二点为相互匹配的点,所述观测区域根据所述跟踪目标在所述第i个时刻的所述实测位置确定;
差值计算模块240,用于基于所述第一点的第一位置信息和目标点的第二位置信息,分别计算各个所述第一点与所述目标点之间的距离值,其中,所述目标点为与所述第一点相匹配的第二点,所述第一位置信息基于所述第一点在所述跟踪区域中的位置确定,所述第二位置信息基于所述目标点在所述观测区域中的位置确定;
参考点查找模块250,用于基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,其中,所述跟踪区域的参考点为至少两个所述第一点中的一个,所述观测区域的参考点为与所述跟踪区域的参考点相匹配的第二点;
目标跟踪模块260,用于基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪。
在一种可能的实现方式中,所述跟踪区域为第一方形区域;
第一点选取模块220具体可以用于:
选取所述第一方形区域的每条边的中点和所述第一方形区域的中心点,将所述第一方形区域的每条边的中点和所述第一方形区域的中心点确定为所述第一点。
在一种可能的实现方式中,所述观测区域为第二方形区域;
第二点选取模块230具体可以用于:
选取所述第二方形区域的每条边的中点和所述第二方形区域的中心点,将所述第二方形区域的每条边的中点和所述第二方形区域的中心点确定为所述第二点。
在一种可能的实现方式中,参考点查找模块250具体可以用于:
查找至少两个所述距离值中的最小差值,所述最小差值对应的第一点为所述跟踪区域的参考点,所述最小差值对应的第二点为所述观测区域的参考点。
在一种可能的实现方式中,数据获取模块210具体可以用于:
获取所述跟踪目标的历史标识信息和通过传感器在所述第i个时刻探测到的各个第一目标,每个第一目标对应一个第一标识信息;
查找第一标识信息中是否存在目标标识信息,其中,所述目标标识信息为与所述历史标识信息相同的第一标识信息;
若所述第一标识信息中存在所述目标标识信息,则确定所述目标标识信息对应的第一目标为与所述跟踪目标匹配的第一目标;
获取第二目标在所述第i个时刻的实测状态数据,所述第二目标为所述目标标识信息对应的第一目标,所述第二目标在所述第i个时刻的实测状态数据为所述跟踪目标在第i个时刻的实测状态数据。
在一种可能的实现方式中,数据获取模块210具体可以用于:
若所述第一标识信息中不存在所述目标标识信息,基于所述跟踪目标在第i个时刻的预测位置和获取的第三目标在第i个时刻的实测位置,计算所述跟踪目标与第三目标之间的马氏距离,其中,所述第三目标为未匹配到所述跟踪目标的第一目标;
基于计算的所述马氏距离,确定第四目标,所述第四目标为与所述跟踪目标匹配的所述第三目标,所述第四目标在所述第i个时刻的实测状态数据为所述跟踪目标在第i个时刻的实测状态数据,所述第四目标与所述跟踪目标之间的马氏距离小于预设距离。
在一种可能的实现方式中,目标跟踪模块260具体可以用于:
将所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据输入至卡尔曼滤波模型中,得到所述跟踪目标在所述第i个时刻的目标状态;
将所述跟踪目标在所述第i个时刻的目标状态输入至卡尔曼滤波模型,预测所述跟踪目标在所述第i+1时刻的状态。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种终端设备,参见图8,该终端设备400可以包括:至少一个处理器410、存储器420以及存储在所述存储器420中并可在所述至少一个处理器410上运行的计算机程序,所述处理器410执行所述计算机程序时实现上述任意各个方法实施例中的步骤,例如图1所示实施例中的步骤S101至步骤S106。或者,处理器410执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如图7所示数据获取模块210至目标跟踪模块260的功能。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器420中,并由处理器410执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序段,该程序段用于描述计算机程序在终端设备400中的执行过程。
本领域技术人员可以理解,图8仅仅是终端设备的示例,并不构成对终端设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如输入输出设备、网络接入设备、总线等。
处理器410可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器420可以是终端设备的内部存储单元,也可以是终端设备的外部存储设备,例如插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。所述存储器420用于存储所述计算机程序以及终端设备所需的其他程序和数据。所述存储器420还可以用于暂时地存储已经输出或者将要输出的数据。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
本申请实施例提供的目标跟踪方法可以应用于计算机、平板电脑、笔记本电脑、上网本、个人数字助理(personal digital assistant,PDA)等终端设备上,本申请实施例对终端设备的具体类型不作任何限制。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的终端设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被一个或多个处理器执行时,可实现上述各个方法实施例的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被一个或多个处理器执行时,可实现上述各个方法实施例的步骤。
同样,作为一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random AccessMemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (9)
1.一种目标跟踪方法,其特征在于,包括:
获取跟踪目标在第i个时刻的预测状态数据和所述跟踪目标在第i个时刻的实测状态数据,所述预测状态数据包括预测位置,所述实测状态数据包括实测位置;
从所述跟踪目标所在的跟踪区域中选取至少两个第一点,所述跟踪区域根据所述跟踪目标在所述第i个时刻的所述预测位置确定;
按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点,选取规则相同的第一点和第二点为相互匹配的点,所述观测区域根据所述跟踪目标在所述第i个时刻的所述实测位置确定;
基于所述第一点的第一位置信息和目标点的第二位置信息,分别计算各个所述第一点与所述目标点之间的距离值,其中,所述目标点为与所述第一点相匹配的第二点,所述第一位置信息基于所述第一点在所述跟踪区域中的位置确定,所述第二位置信息基于所述目标点在所述观测区域中的位置确定;
基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,其中,所述跟踪区域的参考点为至少两个所述第一点中的一个,所述观测区域的参考点为与所述跟踪区域的参考点相匹配的第二点;
基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪;
所述基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪,包括:
将所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据输入至卡尔曼滤波模型中,得到所述跟踪目标在所述第i个时刻的目标状态;
将所述跟踪目标在所述第i个时刻的目标状态输入至卡尔曼滤波模型,预测所述跟踪目标在第i+1个时刻的状态;
基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,包括:
查找至少两个所述距离值中的最小差值;
若最小差值对应一个第一点和一个第二点,所述最小差值对应的第一点为所述跟踪区域的参考点,所述最小差值对应的第二点为所述观测区域的参考点;
若最小差值对应两个第一点和两个第二点,根据预先设置的两个第一点的稳定度确定跟踪区域的参考点。
2.如权利要求1所述的目标跟踪方法,其特征在于,所述跟踪区域为第一方形区域;
所述从所述跟踪目标所在的跟踪区域中选取至少两个第一点,包括:
选取所述第一方形区域的每条边的中点和所述第一方形区域的中心点,将所述第一方形区域的每条边的中点和所述第一方形区域的中心点确定为所述第一点。
3.如权利要求2所述的目标跟踪方法,其特征在于,所述观测区域为第二方形区域;
所述按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点,包括:
选取所述第二方形区域的每条边的中点和所述第二方形区域的中心点,将所述第二方形区域的每条边的中点和所述第二方形区域的中心点确定为所述第二点。
4.如权利要求1所述的目标跟踪方法,其特征在于,所述基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,包括:
查找至少两个所述距离值中的最小差值,所述最小差值对应的第一点为所述跟踪区域的参考点,所述最小差值对应的第二点为所述观测区域的参考点。
5.如权利要求1至4任一项所述的目标跟踪方法,其特征在于,所述获取所述跟踪目标在第i个时刻的实测状态数据,包括:
获取所述跟踪目标的历史标识信息和通过传感器在所述第i个时刻探测到的各个第一目标,每个第一目标对应一个第一标识信息;
查找第一标识信息中是否存在目标标识信息,其中,所述目标标识信息为与所述历史标识信息相同的第一标识信息;
若所述第一标识信息中存在所述目标标识信息,则确定所述目标标识信息对应的第一目标为与所述跟踪目标匹配的第一目标;
获取第二目标在所述第i个时刻的实测状态数据,所述第二目标为所述目标标识信息对应的第一目标,所述第二目标在所述第i个时刻的实测状态数据为所述跟踪目标在第i个时刻的实测状态数据。
6.如权利要求5所述的目标跟踪方法,其特征在于,在所述查找第一标识信息中是否存在目标标识信息之后,所述方法还包括:
若所述第一标识信息中不存在所述目标标识信息,基于所述跟踪目标在第i个时刻的预测位置和获取的第三目标在第i个时刻的实测位置,计算所述跟踪目标与第三目标之间的马氏距离,其中,所述第三目标为未匹配到所述跟踪目标的第一目标;
基于计算的所述马氏距离,确定第四目标,所述第四目标为与所述跟踪目标匹配的所述第三目标,所述第四目标在所述第i个时刻的实测状态数据为所述跟踪目标在第i个时刻的实测状态数据,所述第四目标与所述跟踪目标之间的马氏距离小于预设距离。
7.一种目标跟踪装置,其特征在于,包括:
数据获取模块,用于获取跟踪目标在第i个时刻的预测状态数据和所述跟踪目标在第i个时刻的实测状态数据,所述预测状态数据包括预测位置,所述实测状态数据包括实测位置;
第一点选取模块,用于从所述跟踪目标所在的跟踪区域中选取至少两个第一点,所述跟踪区域根据所述跟踪目标在所述第i个时刻的所述预测位置确定;
第二点选取模块,用于按照每个所述第一点的选取规则,从所述跟踪目标所在的观测区域中选取至少两个第二点,选取规则相同的第一点和第二点为相互匹配的点,所述观测区域根据所述跟踪目标在所述第i个时刻的所述实测位置确定;
差值计算模块,用于基于所述第一点的第一位置信息和目标点的第二位置信息,分别计算各个所述第一点与所述目标点之间的距离值,其中,所述目标点为与所述第一点相匹配的第二点,所述第一位置信息基于所述第一点在所述跟踪区域中的位置确定,所述第二位置信息基于所述目标点在所述观测区域中的位置确定;
参考点查找模块,用于基于至少两个所述距离值,确定所述跟踪区域的参考点和所述观测区域的参考点,其中,所述跟踪区域的参考点为至少两个所述第一点中的一个,所述观测区域的参考点为与所述跟踪区域的参考点相匹配的第二点;
目标跟踪模块,用于基于所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据,对所述跟踪目标进行跟踪;
所述目标跟踪模块还用于将所述跟踪区域的参考点的预测状态数据和所述观测区域的参考点的实测状态数据输入至卡尔曼滤波模型中,得到所述跟踪目标在所述第i个时刻的目标状态;将所述跟踪目标在所述第i个时刻的目标状态输入至卡尔曼滤波模型,预测所述跟踪目标在第i+1个时刻的状态;
参考点查找模块还用于:
查找至少两个所述距离值中的最小差值;
若最小差值对应一个第一点和一个第二点,所述最小差值对应的第一点为所述跟踪区域的参考点,所述最小差值对应的第二点为所述观测区域的参考点;
若最小差值对应两个第一点和两个第二点,根据预先设置的两个第一点的稳定度确定跟踪区域的参考点。
8.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的目标跟踪方法。
9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的目标跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211142791.2A CN115221981B (zh) | 2022-09-20 | 2022-09-20 | 一种目标跟踪方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211142791.2A CN115221981B (zh) | 2022-09-20 | 2022-09-20 | 一种目标跟踪方法、装置、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115221981A CN115221981A (zh) | 2022-10-21 |
CN115221981B true CN115221981B (zh) | 2022-12-02 |
Family
ID=83617658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211142791.2A Active CN115221981B (zh) | 2022-09-20 | 2022-09-20 | 一种目标跟踪方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115221981B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109635657B (zh) * | 2018-11-12 | 2023-01-06 | 平安科技(深圳)有限公司 | 目标跟踪方法、装置、设备及存储介质 |
CN111696132B (zh) * | 2020-05-15 | 2023-12-29 | 深圳市优必选科技股份有限公司 | 目标跟踪方法、装置、计算机可读存储介质及机器人 |
CN112419368A (zh) * | 2020-12-03 | 2021-02-26 | 腾讯科技(深圳)有限公司 | 运动目标的轨迹跟踪方法、装置、设备及存储介质 |
CN112883819B (zh) * | 2021-01-26 | 2023-12-08 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
CN114155284A (zh) * | 2021-12-15 | 2022-03-08 | 天翼物联科技有限公司 | 基于多目标行人场景的行人跟踪方法、装置、设备及介质 |
-
2022
- 2022-09-20 CN CN202211142791.2A patent/CN115221981B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115221981A (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111612841B (zh) | 目标定位方法及装置、移动机器人及可读存储介质 | |
CN111507327B (zh) | 一种目标检测方法及装置 | |
CN115063454B (zh) | 多目标跟踪匹配方法、装置、终端及存储介质 | |
CN109828250B (zh) | 一种雷达标定方法、标定装置及终端设备 | |
CN110992424B (zh) | 基于双目视觉的定位方法和系统 | |
CN112198878B (zh) | 一种即时地图构建方法、装置、机器人及存储介质 | |
CN115546705B (zh) | 目标识别方法、终端设备及存储介质 | |
CN108052869B (zh) | 车道线识别方法、装置及计算机可读存储介质 | |
CN114022508A (zh) | 一种目标跟踪方法、终端及计算机可读存储介质 | |
CN113139416A (zh) | 目标关联方法、计算机设备和存储介质 | |
CN113741446B (zh) | 一种机器人自主探索的方法、终端设备及存储介质 | |
CN118311955A (zh) | 无人机控制方法、终端、无人机及存储介质 | |
CN116863124B (zh) | 车辆姿态确定方法、控制器及存储介质 | |
CN113673288B (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN115221981B (zh) | 一种目标跟踪方法、装置、终端设备及存储介质 | |
CN115082712B (zh) | 一种基于雷视融合的目标检测方法、装置和可读存储介质 | |
CN111179218A (zh) | 传送带物料检测方法、装置、存储介质及终端设备 | |
CN110864670A (zh) | 目标障碍物位置的获取方法和系统 | |
CN113297259B (zh) | 机器人及其环境地图构建方法和装置 | |
CN112614181B (zh) | 一种基于高亮目标的机器人定位方法及装置 | |
CN109788431A (zh) | 一种基于相邻节点组的蓝牙定位方法、装置、设备和系统 | |
CN113505790B (zh) | 一种车牌处理方法、装置、设备及计算机可读存储介质 | |
CN113624222B (zh) | 一种地图的更新方法、机器人及可读存储介质 | |
CN116091600B (zh) | 一种图像目标的定位方法、装置、终端设备和存储介质 | |
CN113625296B (zh) | 基于反光板的机器人定位方法、装置及机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |