CN114943943A - 目标轨迹获得方法、装置、设备及存储介质 - Google Patents

目标轨迹获得方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114943943A
CN114943943A CN202210533845.1A CN202210533845A CN114943943A CN 114943943 A CN114943943 A CN 114943943A CN 202210533845 A CN202210533845 A CN 202210533845A CN 114943943 A CN114943943 A CN 114943943A
Authority
CN
China
Prior art keywords
target
observation
information
time point
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210533845.1A
Other languages
English (en)
Other versions
CN114943943B (zh
Inventor
郑三强
许盛宏
原思平
王金波
王秋森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210533845.1A priority Critical patent/CN114943943B/zh
Publication of CN114943943A publication Critical patent/CN114943943A/zh
Application granted granted Critical
Publication of CN114943943B publication Critical patent/CN114943943B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供一种目标轨迹获得方法、装置、设备及存储介质，包括：获取第一观测源采集的包括第一目标和第二目标的运动状态数据和外观数据的观测数据；分别根据第一观测数据和第二观测数据获得第一目标和第二目标的观测特征信息；根据第一目标的观测特征信息和第二目标的观测特征信息对第一观测源和第二观测源进行目标匹配获得目标匹配结果；分别基于第一目标和第二目标的运动状态数据获得第一目标和第二目标的轨迹信息；若目标匹配结果包括第一目标与第二目标匹配成功，则对第一目标的轨迹信息和第二目标的轨迹信息进行融合，以根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正，获得第一目标的修正轨迹，可获得更准确的目标轨迹。

Description

目标轨迹获得方法、装置、设备及存储介质
技术领域
本公开涉及数据处理技术领域，具体而言，涉及一种目标轨迹获得方法、装置、电子设备及可读存储介质。
背景技术
在例如自动驾驶等应用场景中，通常对观测源的环境感知设备采集的信息进行分析，以进行目标检测。而对于单个观测源，对环境中的目标的感知往往受限于观测角度、环境感知设备性能等因素，导致获得的目标轨迹的准确性较低。因此，在车路协同相关研究中，多个观测源采集的数据进行融合分析成为该应用场景下的关键技术。
如上所述，如何融合多个观测源采集的数据以提高获得目标轨迹的准确性成为亟待解决的问题。
在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种目标轨迹获得方法、装置、电子设备及可读存储介质，至少在一定程度上提高获得目标轨迹的准确性。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一方面，提供一种目标轨迹获得方法，包括：获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，所述第一观测数据包括第一目标的运动状态数据和外观数据，所述第二观测数据包括第二目标的运动状态数据和外观数据；根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息；根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果；基于所述第一目标的运动状态数据获得所述第一目标的轨迹信息；基于所述第二目标的运动状态数据获得所述第二目标的轨迹信息；若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则对所述第一目标的轨迹信息和所述第二目标的轨迹信息进行融合，获得所述第一目标与所述第二目标的融合轨迹；根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正，获得所述第一目标的修正轨迹。
根据本公开的一实施例，所述第一目标的运动状态数据包括所述第一目标的位置信息和速度信息，所述第一目标的外观数据包括所述第一目标的颜色通道信息，所述第二目标的运动状态数据包括所述第二目标的位置信息和速度信息，所述第二目标的外观数据包括所述第二目标的颜色通道信息；所述第一目标的观测特征信息包括所述第一目标的观测特征向量，所述第二目标的观测特征信息包括所述第二目标的观测特征向量；根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息，包括：利用所述第一目标的位置信息、速度信息和颜色通道信息构造所述第一目标的观测特征向量，并利用所述第二目标的位置信息、速度信息和颜色通道信息构造所述第二目标的观测特征向量；根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，包括：根据所述第一目标的观测特征向量和所述第二目标的观测特征向量对所述第一观测源和所述第二观测源进行目标匹配。
根据本公开的一实施例，根据所述第一目标的观测特征向量和所述第二目标的观测特征向量对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果，包括：获得所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度；根据所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度获得所述第一观测源与所述第二观测源的邻接矩阵；基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，以获得所述目标匹配结果。
根据本公开的一实施例，基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，以获得所述目标匹配结果，包括：基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，获得匈牙利匹配结果，所述匈牙利匹配结果包括所述第一目标与所述第二目标匹配成功；判断所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度是否大于第一预设相似度阈值；若所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度大于所述第一预设相似度阈值，则获得所述目标匹配结果，所述目标匹配结果包括所述第一目标与所述第二目标匹配成功。
根据本公开的一实施例，所述方法还包括：若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一目标的颜色通道信息和所述第二目标的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数。
根据本公开的一实施例，第一观测源采集的第一观测数据包括所述第一观测源在第一时间点采集的第一观测数据和所述第一观测源在第二时间点采集的第一观测数据，第二观测源采集的第二观测数据包括所述第二观测源在所述第一时间点采集的第二观测数据和所述第二观测源在所述第二时间点采集的第二观测数据，所述第二时间点在所述第一时间点之后；所述第一目标的观测特征信息包括所述第一目标的第一时间点观测特征信息和第二时间点观测特征信息，所述第二目标的观测特征信息包括所述第二目标的第一时间点观测特征信息和第二时间点观测特征信息；根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息，包括：根据所述第一观测源在第一时间点采集的第一观测数据获得所述第一目标的第一时间点观测特征信息，并根据所述第二观测源在所述第一时间点采集的第二观测数据获得所述第二目标的第一时间点观测特征信息；根据所述第一观测源在第二时间点采集的第一观测数据获得所述第一目标的第二时间点观测特征信息，并根据所述第二观测源在所述第二时间点采集的第二观测数据获得所述第二目标的第二时间点观测特征信息；所述目标匹配结果包括第一目标匹配结果和第二目标匹配结果；根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果，包括：根据所述第一目标的第一时间点观测特征信息和所述第二目标的第一时间点观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得所述第一目标匹配结果；若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一目标的颜色通道信息和所述第二目标的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数，包括：若所述第一目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一观测源在第一时间点采集的第一观测数据中的颜色通道信息和所述第二观测源在所述第一时间点采集的第二观测数据中的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数；根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果，包括：根据所述第一目标的第二时间点观测特征信息、所述第二目标的第二时间点观测特征信息、以及所述第一观测源与所述第二观测源之间的颜色映射参数对所述第一观测源和所述第二观测源进行目标匹配，获得所述第二目标匹配结果。
根据本公开的一实施例，所述第一目标的颜色通道信息包括第一目标图像的多个像素的红绿蓝通道值，所述第二目标的颜色通道信息包括包括第二目标图像的多个像素的红绿蓝通道值；利用所述第一目标的位置信息、速度信息和颜色通道信息构造所述第一目标的观测特征向量，并利用所述第二目标的位置信息、速度信息和颜色通道信息构造所述第二目标的观测特征向量，包括：根据所述第一目标的位置信息获得所述第一目标的位置特征；根据所述第一目标的速度信息获得所述第一目标的速度特征；对所述第一目标图像进行降采样，获得所述第一目标图像的各个采样像素的红绿蓝通道值，所述第一目标图像的多个像素包括多个采样像素；根据所述第一目标图像的各个采样像素的红绿蓝通道值统计所述第一目标图像的多个采样像素中主色调像素值的数量，获得所述第一目标的图像特征；将所述第一目标的位置特征、速度特征和图像特征进行特征工程处理，获得所述第一目标的观测特征向量；根据所述第二目标的位置信息获得所述第二目标的位置特征；根据所述第二目标的速度信息获得所述第二目标的速度特征；对所述第二目标图像进行降采样，获得所述第二目标图像的各个采样像素的红绿蓝通道值，所述第二目标图像的多个像素包括多个采样像素；根据所述第二目标图像的各个采样像素的红绿蓝通道值统计所述第二目标图像的多个采样像素中主色调像素值的数量，获得所述第二目标的图像特征；将所述第二目标的位置特征、速度特征和图像特征进行特征工程处理，获得所述第二目标的观测特征向量。
根据本公开的一实施例，所述第一目标的运动状态数据包括所述第一目标在第一时间点的位置信息和速度信息，所述第一目标的外观数据包括所述第一目标在所述第一时间点的外观数据；基于所述第一目标的运动状态数据获得所述第一目标的轨迹信息，包括：获取所述第一观测源采集的第三观测数据，所述第三观测数据包括第三目标的运动状态数据和外观数据，所述第三目标的运动状态数据包括所述第三目标在第二时间点的位置信息，所述第三目标的外观数据包括所述第三目标在所述第二时间点的外观数据，所述第二时间点在所述第一时间点之后；根据所述第一目标在所述第一时间点的位置信息和速度信息获得所述第一目标在所述第二时间点的预测位置信息；将所述第一目标在所述第二时间点的预测位置信息与所述第三目标在所述第二时间点的位置信息进行匹配，获得位置匹配结果；若所述位置匹配结果为匹配成功，则判断所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度是否大于第二预设相似度阈值；若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于所述第二预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的实际位置信息，以根据所述第一目标在所述第一时间点的位置信息和所述第一目标在所述第二时间点的实际位置信息获得所述第一目标的轨迹信息。
根据本公开的一实施例，根据所述第一目标在所述第一时间点的位置信息和速度信息获得所述第一目标在所述第二时间点的预测位置信息，包括：将所述第一目标在所述第一时间点的位置信息和速度信息输入长短期记忆神经网络位置预测模型，获得所述长短期记忆神经网络位置预测模型的输出为所述第一目标在所述第二时间点的预测位置信息。
根据本公开的一实施例，若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于所述第二预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的位置信息，包括：若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将所述第一目标在第一时间点的位置信息和速度信息进行特征工程处理，获得所述第一目标在第一时间点的运动状态特征向量；将所述第三目标在第二时间点的位置信息和速度信息进行特征工程处理，获得所述第三目标在第二时间点的运动状态特征向量；判断所述第一目标在第一时间点的运动状态特征向量与所述第三目标在第二时间点的运动状态特征向量之间的相似度是否大于第三预设相似度阈值；若所述第一目标在第一时间点的运动状态特征向量与所述第三目标在第二时间点的运动状态特征向量之间的相似度大于所述第三预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的位置信息。
根据本公开的一实施例，根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正，包括：通过卡尔曼滤波算法根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正。
根据本公开的再一方面，提供一种目标轨迹获得装置，包括：获取模块，用于获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，所述第一观测数据包括第一目标的运动状态数据和外观数据，所述第二观测数据包括第二目标的运动状态数据和外观数据；获得模块，用于根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息；所述获得模块，还用于基于所述第一目标的运动状态数据获得所述第一目标的轨迹信息；所述获得模块，还用于基于所述第二目标的运动状态数据获得所述第二目标的轨迹信息；处理模块，用于根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果；所述处理模块，还用于若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则对所述第一目标的轨迹信息和所述第二目标的轨迹信息进行融合，获得所述第一目标与所述第二目标的融合轨迹；所述处理模块，还用于根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正，获得所述第一目标的修正轨迹。
根据本公开的一实施例，所述第一目标的运动状态数据包括所述第一目标的位置信息和速度信息，所述第一目标的外观数据包括所述第一目标的颜色通道信息，所述第二目标的运动状态数据包括所述第二目标的位置信息和速度信息，所述第二目标的外观数据包括所述第二目标的颜色通道信息；所述第一目标的观测特征信息包括所述第一目标的观测特征向量，所述第二目标的观测特征信息包括所述第二目标的观测特征向量；所述处理模块，还用于：利用所述第一目标的位置信息、速度信息和颜色通道信息构造所述第一目标的观测特征向量，并利用所述第二目标的位置信息、速度信息和颜色通道信息构造所述第二目标的观测特征向量；所述处理模块，还用于：根据所述第一目标的观测特征向量和所述第二目标的观测特征向量对所述第一观测源和所述第二观测源进行目标匹配。
根据本公开的一实施例，所述获得模块，还用于：获得所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度；所述获得模块，还用于根据所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度获得所述第一观测源与所述第二观测源的邻接矩阵；所述处理模块，还用于基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，以获得所述目标匹配结果。
根据本公开的一实施例，所述处理模块，还用于：基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，获得匈牙利匹配结果，所述匈牙利匹配结果包括所述第一目标与所述第二目标匹配成功；判断所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度是否大于第一预设相似度阈值；若所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度大于所述第一预设相似度阈值，则获得所述目标匹配结果，所述目标匹配结果包括所述第一目标与所述第二目标匹配成功。
根据本公开的一实施例，所述获得模块，还用于：若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一目标的颜色通道信息和所述第二目标的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数。
根据本公开的一实施例，第一观测源采集的第一观测数据包括所述第一观测源在第一时间点采集的第一观测数据和所述第一观测源在第二时间点采集的第一观测数据，第二观测源采集的第二观测数据包括所述第二观测源在所述第一时间点采集的第二观测数据和所述第二观测源在所述第二时间点采集的第二观测数据，所述第二时间点在所述第一时间点之后；所述第一目标的观测特征信息包括所述第一目标的第一时间点观测特征信息和第二时间点观测特征信息，所述第二目标的观测特征信息包括所述第二目标的第一时间点观测特征信息和第二时间点观测特征信息；所述获得模块，还用于：根据所述第一观测源在第一时间点采集的第一观测数据获得所述第一目标的第一时间点观测特征信息，并根据所述第二观测源在所述第一时间点采集的第二观测数据获得所述第二目标的第一时间点观测特征信息；根据所述第一观测源在第二时间点采集的第一观测数据获得所述第一目标的第二时间点观测特征信息，并根据所述第二观测源在所述第二时间点采集的第二观测数据获得所述第二目标的第二时间点观测特征信息；所述目标匹配结果包括第一目标匹配结果和第二目标匹配结果；所述处理模块，还用于：根据所述第一目标的第一时间点观测特征信息和所述第二目标的第一时间点观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得所述第一目标匹配结果；所述处理模块，还用于：若所述第一目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一观测源在第一时间点采集的第一观测数据中的颜色通道信息和所述第二观测源在所述第一时间点采集的第二观测数据中的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数；所述处理模块，还用于：根据所述第一目标的第二时间点观测特征信息、所述第二目标的第二时间点观测特征信息、以及所述第一观测源与所述第二观测源之间的颜色映射参数对所述第一观测源和所述第二观测源进行目标匹配，获得所述第二目标匹配结果。
根据本公开的一实施例，所述第一目标的颜色通道信息包括第一目标图像的多个像素的红绿蓝通道值，所述第二目标的颜色通道信息包括第二目标图像的多个像素的红绿蓝通道值；所述获得模块，还用于：根据所述第一目标的位置信息获得所述第一目标的位置特征；根据所述第一目标的速度信息获得所述第一目标的速度特征；所述处理模块，还用于：对所述第一目标图像进行降采样，获得所述第一目标图像的各个采样像素的红绿蓝通道值，所述第一目标图像的多个像素包括多个采样像素；根据所述第一目标图像的各个采样像素的红绿蓝通道值统计所述第一目标图像的多个采样像素中主色调像素值的数量，获得所述第一目标的图像特征；将所述第一目标的位置特征、速度特征和图像特征进行特征工程处理，获得所述第一目标的观测特征向量；所述获得模块，还用于：根据所述第二目标的位置信息获得所述第二目标的位置特征；根据所述第二目标的速度信息获得所述第二目标的速度特征；所述处理模块，还用于：对所述第二目标图像进行降采样，获得所述第二目标图像的各个采样像素的红绿蓝通道值，所述第二目标图像的多个像素包括多个采样像素；根据所述第二目标图像的各个采样像素的红绿蓝通道值统计所述第二目标图像的多个采样像素中主色调像素值的数量，获得所述第二目标的图像特征；将所述第二目标的位置特征、速度特征和图像特征进行特征工程处理，获得所述第二目标的观测特征向量。
根据本公开的一实施例，所述第一目标的运动状态数据包括所述第一目标在第一时间点的位置信息和速度信息，所述第一目标的外观数据包括所述第一目标在所述第一时间点的外观数据；所述获取模块，还用于：获取所述第一观测源采集的第三观测数据，所述第三观测数据包括第三目标的运动状态数据和外观数据，所述第三目标的运动状态数据包括所述第三目标在第二时间点的位置信息，所述第三目标的外观数据包括所述第三目标在所述第二时间点的外观数据，所述第二时间点在所述第一时间点之后；所述获得模块，还用于根据所述第一目标在所述第一时间点的位置信息和速度信息获得所述第一目标在所述第二时间点的预测位置信息；所述处理模块，还用于将所述第一目标在所述第二时间点的预测位置信息与所述第三目标在所述第二时间点的位置信息进行匹配，获得位置匹配结果；若所述位置匹配结果为匹配成功，则判断所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度是否大于第二预设相似度阈值；若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于所述第二预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的实际位置信息，以根据所述第一目标在所述第一时间点的位置信息和所述第一目标在所述第二时间点的实际位置信息获得所述第一目标的轨迹信息。
根据本公开的一实施例，所述处理模块，还用于：将所述第一目标在所述第一时间点的位置信息和速度信息输入长短期记忆神经网络位置预测模型，获得所述长短期记忆神经网络位置预测模型的输出为所述第一目标在所述第二时间点的预测位置信息。
根据本公开的一实施例，所述处理模块，还用于：若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将所述第一目标在第一时间点的位置信息和速度信息进行特征工程处理，获得所述第一目标在第一时间点的运动状态特征向量；将所述第三目标在第二时间点的位置信息和速度信息进行特征工程处理，获得所述第三目标在第二时间点的运动状态特征向量；判断所述第一目标在第一时间点的运动状态特征向量与所述第三目标在第二时间点的运动状态特征向量之间的相似度是否大于第三预设相似度阈值；若所述第一目标在第一时间点的运动状态特征向量与所述第三目标在第二时间点的运动状态特征向量之间的相似度大于所述第三预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的位置信息。
根据本公开的一实施例，所述处理模块，还用于：通过卡尔曼滤波算法根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正。
根据本公开的再一方面，提供一种电子设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。
根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。
本公开的实施例提供的目标轨迹获得方法，获取第一观测源采集的包括第一目标的运动状态数据和外观数据的第一观测数据和第二观测源采集的包括第二目标的运动状态数据和外观数据第二观测数据，然后根据第一观测数据获得第一目标的观测特征信息，并根据第二观测数据获得第二目标的观测特征信息，再根据第一目标的观测特征信息和第二目标的观测特征信息对第一观测源和第二观测源进行目标匹配，获得目标匹配结果；同时基于第一目标的运动状态数据获得第一目标的轨迹信息，并基于第二目标的运动状态数据获得第二目标的轨迹信息，若第一观测源和第二观测源的目标匹配结果包括第一目标与第二目标匹配成功，则对第一目标的轨迹信息和第二目标的轨迹信息进行融合，获得第一目标与第二目标的融合轨迹，再根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正，获得第一目标的修正轨迹。根据本公开的实施例提供的目标轨迹获得方法，通过将各观测源采集的目标的结合了运动状态数据和外观数据的观测特征进行匹配，得到更为准确的不同观测源的目标匹配结果，以使对匹配成功的目标将各观测源分别按照观测到的目标的运动状态合成的目标轨迹进行融合，再按照融合轨迹修正单个观测源的按照观测到的目标的运动状态合成的目标轨迹，从而可获得更准确的目标轨迹。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
图1示出本公开实施例中一种系统架构的示意图。
图2示出本公开实施例中一种目标轨迹获得方法的流程图。
图3示出了图2中所示的步骤S204和步骤S206在一实施例中的处理过程示意图。
图4示出了图3中所示的步骤S3046在一实施例中的处理过程示意图。
图5是根据图2和图3示出的一种目标匹配方法的流程图。
图6示出了图3中所示的步骤S302在一实施例中的处理过程示意图。
图7是根据图2至图6示出的一种空间配准流程示意图。
图8是根据图7的空间配准流程示出的一种空间配准的数据组织架构图。
图9示出了图2中所示的步骤S208在一实施例中的处理过程示意图。
图10示出了图9中所示的步骤S910在一实施例中的处理过程示意图。
图11示出了图2中所示的步骤S210在一实施例中的处理过程示意图。
图12示出了图11中所示的步骤S1112在一实施例中的处理过程示意图。
图13是根据图2、以及图9至图12示出的一种时间配准的数据组织架构图。
图14是根据图2、图7、图8以及图13示出的时空配准流程示意图。
图15示出了图14的时空配准流程中的反馈迭代机制示意图。
图16示出本公开实施例中一种目标轨迹获得装置的框图。
图17示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
在例如自动驾驶等智能交通应用场景中，通常对观测源的摄像头、激光雷达、毫米波雷达等环境感知设备采集的信息进行分析，以进行目标检测。显然，在决策范围内感知数据越完备，智能交通参与者越容易做出更安全、更高效的交通决策。而对于单个观测源，对环境中的目标的感知往往受限于观测角度、环境感知设备性能等因素，导致获得的目标轨迹的准确性较低。因此，在车路协同相关研究中，多个观测源采集的数据进行融合分析既是该应用场景下的基础技术，同时也是关键技术。
而多个观测源采集的数据的融合依赖于多源数据的时间配准和空间配准(也可称为时间对齐和空间对齐，简称为时空对齐)。其中，时间配准指的是对同一观测源在不同时间点采集的观测数据进行配准，以获得同一个目标在不同时间点的观测数据；空间配准指的是对不同观测源在同一时间点采集的观测数据进行配准，以获得不同观测源观测到的相同的目标。关于时间配准，在对于单个目标的二维定位(2Dimension，2D)任务中，相关技术采用将采集单个目标在不同时间的位置信息作为时间序列的纵向对齐以进行目标跟踪。关于空间配准，相关技术中设置了多个相同观测位置的观测源设备，通过标定(本质是通过一组角点测量数据解超定方程)实现不同设备间的空间对齐。
在一些例如车路协同等观测源也在移动、不同观测源的观测位置不同的应用场景下，不同观测源设备通常存在相对位置移动，因此无法像同观测源设备那样进行标定。通常需要融合车-车、车-路等不同观测源之间的信息，以提升决策范围内的环境感知能力。因此如何实现不同观测位置的多个观测源的时空对齐就成为亟待解决的问题。
对此，本公开提供了一种目标轨迹获得方法，通过将各观测源采集的目标的结合了运动状态数据和外观数据的观测特征进行匹配，得到更为准确的不同观测源的目标匹配结果，以使对匹配成功的目标将各观测源分别按照观测到的目标的运动状态合成的目标轨迹进行融合，再按照融合轨迹修正单个观测源的按照观测到的目标的运动状态合成的目标轨迹，从而可获得更准确的目标轨迹。
图1示出了可以应用本公开的目标轨迹获得方法或目标轨迹获得装置的示例性系统架构10。
如图1所示，系统架构10可以包括终端设备102、网络104和服务器106。终端设备102可以是具有显示屏并且支持输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机、可穿戴设备、虚拟现实设备、智能家居等等。终端设备102也可以是交通管理中观测源的设备，包括但不限于激光雷达、毫米波雷达、摄像头等等。网络104用以在终端设备102和服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。服务器106可以是提供各种服务的服务器或服务器集群等，例如数据库服务器、后台处理服务器、网络服务器等等。
终端设备102可以通过网络104与服务器106，以接收或发送数据等。例如多个终端设备102通过网络104从服务器106上将各自采集到的目标的运动状态数据和外观数据分别发送到服务器106，然后服务器106根据第一观测数据获得第一目标的观测特征信息，并根据第二观测数据获得第二目标的观测特征信息，再根据第一目标的观测特征信息和第二目标的观测特征信息对第一观测源和第二观测源进行目标匹配，获得目标匹配结果。又例如服务器106将包括第一目标与第二目标匹配成功的目标匹配结果通过网络104发送到有显示屏的终端设备102，便于用户查看目标匹配结果。再例如服务器106将按照融合轨迹修正的单个观测源的按照观测到的目标的运动状态合成的目标轨迹，通过网络104发送到有显示屏的终端设备102，用于用户查看修正的目标轨迹。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
本公开实施例涉及的第一观测源、第二观测源等观测源指的是设置有一个或多个终端设备102的观测源，终端设备102可以是例如摄像头、激光雷达、毫米波雷达等环境感知设备。观测源可以为移动观测源，例如车辆等，也可以为静止观测源，例如设置在路旁进行测量(例如测距、违章拍摄等)的单元。
图2是根据一示例性实施例示出的一种目标轨迹获得方法的流程图。如图2所示的方法例如可以应用于上述系统10的服务器端，也可以应用于上述系统10的终端设备。
参考图2，本公开实施例提供的方法20可以包括以下步骤。
在步骤S202中，获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，第一观测数据可以包括第一目标的运动状态数据和外观数据，第二观测数据可以包括第二目标的运动状态数据和外观数据。
在一些实施例中，第一观测源观测到的第一目标可以为一个或多个目标，第二观测源观测到的第二目标也可以为一个或多个目标。
在一些实施例中，第一目标的运动状态数据可以包括第一目标的位置信息和速度信息，第一目标的外观数据可以包括第一目标的颜色通道信息和激光雷达采集的点云数据，第二目标的运动状态数据包括第二目标的位置信息和速度信息，第二目标的外观数据包括第二目标的颜色通道信息。
本公开实施例中的位置信息可以为地平面上两个相互垂直的方向(例如可以称为横轴和纵轴)的位置坐标，速度信息可以为目标相对于观测源的速度在两个相互垂直的方向(如上述的横轴和纵轴)上的分量，例如可以为横向速度和纵向速度。速度信息可以包括目标相对于观测源的速度和观测源本身的速度。
例如，颜色通道信息可以是R(Red，红)G(Green，绿)B(Blue，蓝)值，也可以是C(Cyan，青色)M(Magenta，品红色)Y(Yellow，黄色)K(blacK，黑色)值、H(Hue，色调)S(Saturation，饱和度)V(Value，明度)值等等其他颜色模式下的值。
在一些实施例中，观测数据(例如第一观测数据和第二观测数据等等)可以包括时间戳信息，时间戳信息用于表示采集该运动状态数据、外观数据等的时间点，例如可以为下述的第一时间点、第二时间点等等。步骤S202获取的第一观测数据和第二观测数据可以是同一时间点采集的数据。
在一些实施例中，可以通过边缘计算技术(Mobile Edge Computing，MEC)相关设备获得各观测源采集的观测数据。边缘计算技术是支撑运营商进行5G网络转型的关键技术，以满足高清视频、VR/AR、工业互联网、车联网等业务发展需求。
在步骤S204中，根据第一观测数据获得第一目标的观测特征信息，并根据第二观测数据获得第二目标的观测特征信息。
在一些实施例中，第一目标的观测特征信息可以包括第一目标的观测特征向量，第二目标的观测特征信息可以包括第二目标的观测特征向量。可以利用第一目标的位置信息、速度信息和颜色通道信息构造第一目标的观测特征向量，并利用第二目标的位置信息、速度信息和颜色通道信息构造第二目标的观测特征向量。
例如，可以分别将第一目标和第二目标的横纵位置坐标、横向速度和纵向速度、各像素的RGB三通道值拼接为一个向量，作为其观测特征向量。
再例如，也可以将横纵位置坐标、横向速度和纵向速度、各像素的RGB三通道值进行特征工程处理，例如分别将第一目标和第二目标的横纵位置坐标、横向速度和纵向速度、各像素的RGB三通道值按照预设权重进行加权，获得其观测特征向量。具体实施方式可参照图3和图6。
在步骤S206中，根据第一目标的观测特征信息和第二目标的观测特征信息对第一观测源和第二观测源进行目标匹配，获得目标匹配结果。
在一些实施例中，第一观测源可以观测到多个第一目标，第二观测源也可以观测到多个第二目标。步骤S204和步骤S206可以为上述空间配准过程，空间配准的结果可以为目标匹配之后的第一观测源和第二观测源的观测目标的并集，例如第一观测源观测到的目标为第一目标A、第一目标B和第一目标C，第二观测源观测到的目标为第二目标A’、第二目标B’和第二目标D，获得的目标匹配结果可以为第一目标A与第二目标A’匹配成功、第一目标B与第二目标B’匹配成功，空间配准的结果则可以为目标A、目标B、目标C和目标D，也可以为各目标重新分配一个唯一的标识(Identification，ID)。
在一些实施例中，在判断第一目标与第二目标是否匹配时，可以计算第一目标的观测特征向量和第二目标的观测特征向量的相似度，根据相似度大小判断其是否匹配。
在另一些实施例中，在对第一观测源和第二观测源进行目标匹配时，可以采用匈牙利算法对第一观测源和第二观测源进行非完全目标匹配，具体实施方式可以参照图3和图4。
在一些实施例中，若目标匹配结果包括第一目标与第二目标匹配成功，可以则根据第一目标的颜色通道信息和第二目标的颜色通道信息获得第一观测源与第二观测源之间的颜色映射参数，然后将该颜色映射参数进行保存，用于下一次(例如下一个时间点)进行第一观测源与第二观测源的目标匹配时，利用该颜色映射参数对第一观测源或第二观测源的目标的观测特征向量进行修正，具体实施方式可参照图5。
在步骤S208中，基于第一目标的运动状态数据获得第一目标的轨迹信息。
在一些实施例中，若第一目标为第一观测源在第一时间点观测到的目标，可先将第一目标与第一观测源在第二时间点观测到的第三目标进行位置匹配，在位置匹配成功后进行外观匹配，匹配成功后可获得第一目标在不同时间点的位置，进而获得第一目标的轨迹信息。具体实施方式可参照图9和图10。
在一些实施例中，运动状态数据还可以包括加速度信息，在进行第一目标的位置匹配时，利用采集的t时刻的位置Xt、速度Vxt和加速度axt，通过式Xt+1＝Xt+Vxtt+0.5*axtt2预测下一时刻目标位置Xt+1。
在另一些实施例中，也可在进行第一目标的位置匹配时，将第一目标在第一时间点的位置信息和速度信息输入长短期记忆神经网络位置预测模型，获得长短期记忆神经网络位置预测模型的输出为第一目标在第二时间点的预测位置信息。具体实施方式可参照图9和图10。
在步骤S210中，基于第二目标的运动状态数据获得第二目标的轨迹信息。
在一些实施例中，若第二目标为第二观测源在第一时间点观测到的目标，可先将第二目标与第二观测源在第二时间点观测到的第四目标进行位置匹配，在位置匹配成功后进行外观匹配，匹配成功后可获得第二目标在不同时间点的位置，进而获得第二目标的轨迹信息。具体实施方式可参照图11和图12。
在一些实施例中，可在进行第二目标的位置匹配时，利用采集的t时刻的位置Xt、速度Vxt和加速度axt，通过式Xt+1＝Xt+Vxtt+0.5*axtt2预测下一时刻目标位置Xt+1。
在另一些实施例中，也可在进行第二目标的位置匹配时，将第二目标在第一时间点的位置信息和速度信息、以及第四目标在第二时间点的速度信息输入长短期记忆神经网络位置预测模型，获得长短期记忆神经网络位置预测模型的输出为第二目标的预测位置信息。具体实施方式可参照图11和图12。
在步骤S211中，判断目标匹配结果是否包括第一目标与第二目标匹配成功。
在一些实施例中，目标匹配结果可以包括匹配成功的第一目标与第二目标对。
在步骤S212中，若目标匹配结果包括第一目标与第二目标匹配成功，则对第一目标的轨迹信息和第二目标的轨迹信息进行融合，获得第一目标与第二目标的融合轨迹。
在一些实施例中，可世界坐标系下，通过对第一观测源和第二观测源的位置及速度进行计算，修正观测目标在世界坐标系下的位置以实现融合轨迹。
在步骤S214中，根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正，获得第一目标的修正轨迹。
在一些实施例中，可通过卡尔曼滤波算法根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正。
在一些实施例中，也可通过读取高清地图车道线作为判断轨迹合理的参考条件之一，选取第一观测源和第二观测源得到的第一目标轨迹和第二目标轨迹中更合理的轨迹作为第一目标的修正轨迹。
在一些实施例中，也可根据第一目标与第二目标的融合轨迹对第二目标的轨迹信息进行修正，获得第二目标的修正轨迹。
根据本公开实施例提供的目标轨迹获得方法，通过将各观测源采集的目标的结合了运动状态数据和外观数据的观测特征进行匹配，得到更为准确的不同观测源的目标匹配结果，以使对匹配成功的目标将各观测源分别按照观测到的目标的运动状态合成的目标轨迹进行融合，再按照融合轨迹修正单个观测源的按照观测到的目标的运动状态合成的目标轨迹，从而可获得更准确的目标轨迹。
图3示出了图2中所示的步骤S204和步骤S206在一实施例中的处理过程示意图。如图3所示，本公开实施例中，上述步骤S204和步骤S206可以进一步包括以下步骤。
步骤S302，利用第一目标的位置信息、速度信息和颜色通道信息构造第一目标的观测特征向量，并利用第二目标的位置信息、速度信息和颜色通道信息构造第二目标的观测特征向量。
在一些实施例中，第一目标的颜色通道信息可以包括第一目标图像的多个像素的红绿蓝通道值，第二目标的颜色通道信息可以包括第二目标图像的多个像素的红绿蓝通道值。构造观测特征向量的具体实施方式可参照图6。
步骤S304，根据第一目标的观测特征向量和第二目标的观测特征向量对第一观测源和第二观测源进行目标匹配，获得目标匹配结果。
步骤S3042，获得第一目标的观测特征向量与第二目标的观测特征向量之间的相似度。
在一些实施例中，可以计算第一目标的观测特征向量与第二目标的观测特征向量之间的欧式距离，欧式距离越大表示相似度越小，欧式距离越小表示相似度越大。也可以用其他距离算法来表征相似度，例如明氏距离、切比雪夫距离等等。
步骤S3044，根据第一目标的观测特征向量与第二目标的观测特征向量之间的相似度获得第一观测源与第二观测源的邻接矩阵。
在一些实施例中，以上述第一观测源观测到的目标为第一目标A、第一目标B和第一目标C，第二观测源观测到的目标为第二目标A’、第二目标B’和第二目标D为例，则生成的邻接矩阵可以表示为：
(A,A′)(A,B′)(A,D)
(B,A′)(B,B′)(B,D)
(C,A′)(C,B′)(C,D)
其中，(A,A')表示第一目标A的观测特征向量与第二目标A’的观测特征向量之间的相似度，其余以此类推。
步骤S3046，基于第一观测源与第二观测源的邻接矩阵通过匈牙利算法对第一观测源与第二观测源进行非完全的目标匹配，以获得目标匹配结果。
在一些实施例中，邻接矩阵可以记录第一观测源观测的各目标与第二观测源观测的各目标的特征的相似度。匈牙利算法的输入可以是该邻接矩阵，返回的是邻接矩阵中哪个值对应的两个点应该匹配成一对，即返回匹配成功的第一目标与第二目标对。
根据本公开实施例提供的空间配准方法，将各观测源采集的观测速度中的速度、位置及颜色通道信息构造为特征向量，计算特征相似度后进行非完备匹配，可规避测量误差带来的误差传递，提高了目标匹配的准确性。
图4示出了图3中所示的步骤S3046在一实施例中的处理过程示意图。如图4所示，本公开实施例中，上述步骤S3046可以进一步包括以下步骤。
步骤S402，基于第一观测源与第二观测源的邻接矩阵通过匈牙利算法对第一观测源与第二观测源进行非完全的目标匹配，获得匈牙利匹配结果，匈牙利匹配结果包括第一目标与第二目标匹配成功。
步骤S404，判断第一目标的观测特征向量与第二目标的观测特征向量之间的相似度是否大于第一预设相似度阈值。
步骤S406，若第一目标的观测特征向量与第二目标的观测特征向量之间的相似度大于第一预设相似度阈值，则获得目标匹配结果为第一目标与第二目标匹配成功。
步骤S408，若第一目标的观测特征向量与第二目标的观测特征向量之间的相似度不大于第一预设相似度阈值，则获得目标匹配结果为第一目标与第二目标匹配不成功。
根据本公开实施例提供的方法，对匈牙利算法进行了改进，设定了配对阈值，防止相似度邻接矩阵相似度普遍偏低时强行配对，提高了目标匹配的准确性。
图5是根据图2和图3示出的一种目标匹配方法的流程图。图5与图3的主要区别在于，在获得第一观测源与第二观测源的之间的颜色映射参数之后，再次对第一观测源与第二观测源进行目标匹配时，考虑了该参数的影响。
参考图5，本公开实施例提供的方法50可以包括以下步骤。
在步骤S502中，根据第一观测源在第一时间点采集的第一观测数据获得第一目标的第一时间点观测特征信息。
在一些实施例中，第一观测源在第一时间点采集的第一观测数据可以包括多个第一目标的运动状态数据、外观数据等，可以分别获得各个第一目标的第一时间点观测特征信息。
在步骤S504中，根据第二观测源在第一时间点采集的第二观测数据获得第二目标的第一时间点观测特征信息。
在一些实施例中，第二观测源在第一时间点采集的第二观测数据可以包括多个第二目标的运动状态数据、外观数据等，可以分别获得各个第二目标的第一时间点观测特征信息。
在步骤S506中，根据第一目标的第一时间点观测特征信息和第二目标的第一时间点观测特征信息对第一观测源和第二观测源进行目标匹配，获得第一目标匹配结果。
在一些实施例中，对第一观测源和第二观测源进行目标匹配的具体实施方式可以参照图3和图4。
在步骤S507中，判断第一目标匹配结果是否包括第一目标与第二目标匹配成功。
在步骤S508中，若第一目标匹配结果包括第一目标与第二目标匹配成功，则根据第一观测源在第一时间点采集的第一观测数据中的颜色通道信息和第二观测源在第一时间点采集的第二观测数据中的颜色通道信息获得第一观测源与第二观测源之间的颜色映射参数。
在一些实施例中，可以训练一个多层感知机，输入为第一观测数据中的颜色通道信息，输出为第二观测数据中的颜色通道信息，在训练完成后保存多层感知机的参数为颜色映射参数。
在另一些实施例中，也将第一观测数据中的颜色通道信息与第二观测数据中的颜色通道信息进行线性拟合，保存线性拟合参数为颜色映射参数。
在步骤S509中，若第一目标匹配结果不包括第一目标与第二目标匹配成功，则从第一目标匹配结果中获得下一个第一目标与下一个第二目标，返回步骤S507。
在步骤S510中，根据第一观测源在第二时间点采集的第一观测数据获得第一目标的第二时间点观测特征信息，第二时间点在第一时间点之后。
在步骤S512中，根据第二观测源在第二时间点采集的第二观测数据获得第二目标的第二时间点观测特征信息。
在步骤S514中，根据第一目标的第二时间点观测特征信息、第二目标的第二时间点观测特征信息、以及第一观测源与第二观测源之间的颜色映射参数对第一观测源和第二观测源进行目标匹配，获得第二目标匹配结果。
在一些实施例中，在下一个时间点进行目标匹配时，可利用前一个时间点得到的颜色映射参数对第一观测源或第二观测源的各目标的观测特征向量进行修正。
根据本公开实施例提供的方法，在一次空间配准中确认为同一观测目标后，可根据采集的颜色通道信息生成两观测源的摄像头HSV的映射参数，然后在后续同两个观测源的目标匹配或其他协同感知任务中使用，可以消除因不同摄像头之间存在色差导致不同观测源的偏差，提高了目标匹配的准确性。
图6示出了图3中所示的步骤S302在一实施例中的处理过程示意图。如图6所示，本公开实施例中，上述步骤S302可以进一步包括以下步骤。
步骤S602，根据第一目标的位置信息获得第一目标的位置特征。
在一些实施例中，参照图8，第一目标的位置特征可以为第一目标相对第一观测源(例如图8中的主源)的横向位置和纵向位置，即相对主源x偏量8027和相对主源y偏量8028。
步骤S604，根据第一目标的速度信息获得第一目标的速度特征。
在一些实施例中，参照图8，第一目标的速度特征可以为第一目标相对第一观测源的横向速度和纵向速度，即相对主源x速度8029和相对主源y速度80210。
步骤S606，对第一目标图像进行降采样，获得第一目标图像的各个采样像素的红绿蓝通道值，第一目标图像的多个像素包括多个采样像素。
在一些实施例中，对第一目标图像进行降采样的操作可以为，对于像素大小为M*N的原始的第一目标图像，将s*s(M、N、s均为正整数)窗口内的图像变为一个像素，该像素(点的)值为窗口内均值或最大值。其中，s例如可以为M、N的公约数；s也可以不为M、N的公约数，例如常用值为3、5等等，如果是采用窗口最大值进行降采样，s不为M、N的公约数而产生的边缘可以用空白格填补。采样步长通常小于s。
步骤S608，根据第一目标图像的各个采样像素的红绿蓝通道值统计第一目标图像的多个采样像素中主色调像素值的数量，获得第一目标的图像特征。
在一些实施例中，可以设置若干个主色调，例如可以选取各个采样像素的红绿蓝像素值统计直方图中，像素数量为峰值的色调。
步骤S610，将第一目标的位置特征、速度特征和图像特征进行特征工程处理，获得第一目标的观测特征向量。
在一些实施例中，可以根据实际情况(如设备情况、目标轨迹用途等)为第一目标的位置特征、速度特征和图像特征分别设置不同的权重，然后将位置特征、速度特征和图像特征加权融合，获得第一目标的观测特征向量。
步骤S614，根据第二目标的位置信息获得第二目标的位置特征。
步骤S616，根据第二目标的速度信息获得第二目标的速度特征。
步骤S618，对第二目标图像进行降采样，获得第二目标图像的各个采样像素的红绿蓝通道值，第二目标图像的多个像素包括多个采样像素。
步骤S620，根据第二目标图像的各个采样像素的红绿蓝通道值统计第二目标图像的多个采样像素中主色调像素值的数量，获得第二目标的图像特征。
步骤S622，将第二目标的位置特征、速度特征和图像特征进行特征工程处理，获得第二目标的观测特征向量。
步骤S614至步骤S622中对获得第二目标的观测特征向量的具体实施方式可参照步骤S602至步骤S610中获得第一目标的观测特征向量的具体实施方式。
根据本公开实施例提供的方法，各观测源时间同步完成后，分别利用各自感知范围内探测到的数据进行目标检测，以目标为单位通过观测源自身的传感器标定进行单源的数据融合，包括对目标横、纵向相对速度、位置分别与观测源横、纵向速度、位置进行计算得到目标横、纵向绝对速度、位置，对目标图像RGB通道进行降采样、计算主色调颜色直方图等操作构造得到目标的色彩特征，然后将各观测源采集的观测速度中的速度、位置及色彩特征构造为特征向量，以计算特征相似度后进行非完备匹配，可规避测量误差带来的误差传递，提高了目标匹配的准确性。
图7是根据图2至图6示出的一种空间配准流程示意图。在图7中以第一观测源为主源、第二观测源为从源为例进行说明，主源例如可以为发起目标跟踪请求的观测源，从源例如可以表示响应主源的请求的、在主源附近的观测源。如图7所示的空间配准流程可包括以下步骤S702至步骤S712。
步骤S702，计算主源观测到的各目标的特征向量与从源观测到的各目标的特征向量之间的相似度。具体实施方式可参照图3和图6。
步骤S704，将各个相似度值记录为邻接矩阵。具体实施方式可参照图3和图4。
步骤S706，将邻接矩阵输入匈牙利算法，输出主源观测到的各目标和从源观测到的各目标的匹配结果。具体实施方式可参照图3和图4。
步骤S708，利用匹配成功的目标对主源和从源进行色准找齐，获得颜色映射参数。具体实施方式可参照图5。
步骤S710，根据目标匹配结果，对主源和从源的目标取并集，融合匹配成功的目标的观测数据。
在一些实施例中，在进行同目标的数据融合时，对于点云数据可对主、从源的同目标点云数据进行聚类等处理，获得该目标的特征点的集合为融合的点云数据。
在一些实施例中，在进行同目标的数据融合时，对于运动状态数据可以主、从源分别对应存储，以便后续进行时间配准时主、从源分别进行。
步骤S712.获得各目标的唯一标识。
在一些实施例中，可以得到与各目标唯一标识对应的结构化数据，保存的是主、从源融合的空间特征集合，例如在世界坐标中的位置，速度，RGB特征，主从源的点云集合(匹配的特征点的集合)。
本公开实施例提供的空间配准方法，可将多端设备统一到同一时空坐标系下，为多端多源数据融合及后续人工智能算法的开发提供了数据基础，为车-车、车-路交互应用设计提供了有力支撑。
图8是根据图7的空间配准流程示出的一种空间配准的数据组织架构图。如图8所示，主源和从源分别在感知范围内进行目标检测。以检测目标为单位，主源通过激光雷达采集目标点云数据8022，通过毫米波雷达采集的数据8021包括目标横向速度vx8029、目标纵向速度vy80210、横向距离dx(即x偏量)8027、纵向距离dy(即y偏量)8028，通过摄像头采集目标图像8023，以获得R通道特征8024、G通道特征8025和B通道特征8026。还可以通过主源观测端测速设备获得其横向速度
Figure BDA0003646430600000251
纵向速度
Figure BDA0003646430600000252
通过主源定位装置获取主源观测端所在位置(x0,y0)，进而获得目标相对主源轨迹802。
类似地，从源通过激光雷达采集目标点云数据8042，通过毫米波雷达采集的数据8041包括目标横向速度vx8049、目标纵向速度vy80410、横向距离dx(即x偏量)8047、纵向距离dy(即y偏量)8048，通过摄像头采集目标图像8043，以获得R通道特征8044、G通道特征8045和B通道特征8046。还可以通过从源观测端测速设备获得其横向速度
Figure BDA0003646430600000261
纵向速度
Figure BDA0003646430600000262
通过从源定位装置获取从源观测端所在位置(x0,y0)，进而获得目标相对从源轨迹804。
在一些实施例中，可以获得观测源的位置(x0,y0)和速度
Figure BDA0003646430600000263
后，计算得到目标的世界坐标系位置(x0+dx,y0+dy)作为目标的位置信息，并计算得到目标绝对横向速度
Figure BDA0003646430600000264
和目标绝对纵向速度
Figure BDA0003646430600000265
作为目标的速度信息。
上述主、从源可通过自身传感器标定，为自身激光雷达、彩色摄像头、毫米波雷达采集到的数据建立对应。记录上述测量的毫米波数据、激光雷达数据、摄像头数据等并将其历史数据不断累积保存。
图9示出了图2中所示的步骤S208在一实施例中的处理过程示意图。如图9所示，本公开实施例中，上述步骤S208可以进一步包括以下步骤。
步骤S902，获取第一观测源采集的第三观测数据，第三观测数据可以包括第三目标的运动状态数据和外观数据，第三目标的运动状态数据可以包括第三目标在第二时间点的位置信息和速度信息，第三目标的外观数据包括第三目标在第二时间点的外观数据，第二时间点在第一时间点之后。
步骤S904，根据第一目标在第一时间点的位置信息和速度信息获得第一目标在第二时间点的预测位置信息。
在一些实施例中，可将第一目标在第一时间点的位置信息和速度信息输入长短期记忆(Long Short-Term Memory，LSTM)神经网络位置预测模型，获得长短期记忆神经网络位置预测模型的输出为第一目标在第二时间点的预测位置信息。例如，可利用第一观测源平时行车时收集到的数据迭代训练一个LSTM轨迹预测模型，训练集输入特征为当前时刻t的车辆横向速度、车辆纵向速度、t时刻前若干个单位时间前的历史数据，包括历史时间下车辆横向位置、车辆纵向位置、车辆横向速度、车辆纵向速度等，输出是当前时刻t车辆横向位置和车辆纵向位置。
步骤S906，将第一目标在第二时间点的预测位置信息与第三目标在第二时间点的位置信息进行匹配，获得位置匹配结果。
在一些实施例中，可计算将第一目标的预测位置与第三目标在第二时间点的位置之间的直线距离，若该距离小于预设距离阈值，则认为是第一目标与第三目标是同一个目标，即第一目标与第三目标位置匹配成功。
步骤S907，若位置匹配结果为匹配不成功，则获得下一个第三目标。
在一些实施例中，若第一观测源在第二时间点观测到了多个第三目标，可将第一目标与多个第三目标逐个进行位置匹配，位置匹配成功的第三目标进行步骤S908的外观匹配。
步骤S908，若位置匹配结果为匹配成功，则判断第一目标在第一时间点的外观数据与第三目标在第二时间点的外观数据之间的相似度是否大于第二预设相似度阈值。
步骤S910，若第一目标在第一时间点的外观数据与第三目标在第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将第三目标在第二时间点的位置信息作为第一目标在第二时间点的实际位置信息，以根据第一目标在第一时间点的位置信息和第一目标在第二时间点的实际位置信息获得第一目标的轨迹信息。
在一些实施例中，可以在第一目标唯一标识编码对应的文件中记录其第二时间点的位置信息，否则第一目标的轨迹待定，需要下一时间点判断第一观测源是否观测到可以匹配的目标，待匹配成功后得到第一目标的轨迹。
图10示出了图9中所示的步骤S910在一实施例中的处理过程示意图。如图10所示，本公开实施例中，上述步骤S910可以进一步包括以下步骤。
步骤S1002，若第一目标在第一时间点的外观数据与第三目标在第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将第一目标在第一时间点的位置信息和速度信息进行特征工程处理，获得第一目标在第一时间点的运动状态特征向量。
步骤S1004，将第三目标在第二时间点的位置信息和速度信息进行特征工程处理，获得第三目标在第二时间点的运动状态特征向量。
步骤S1006，判断第一目标在第一时间点的运动状态特征向量与第三目标在第二时间点的运动状态特征向量之间的相似度是否大于第三预设相似度阈值。
步骤S1008，若第一目标在第一时间点的运动状态特征向量与第三目标在第二时间点的运动状态特征向量之间的相似度大于第三预设相似度阈值，则将第三目标在第二时间点的位置信息作为第一目标在第二时间点的实际位置信息。
图11示出了图2中所示的步骤S210在一实施例中的处理过程示意图。如图11所示，本公开实施例中，上述步骤S210可以进一步包括以下步骤。
步骤S1102，获取第一观测源采集的第三观测数据，第三观测数据可以包括第四目标的运动状态数据和外观数据，第四目标的运动状态数据可以包括第四目标在第二时间点的位置信息和速度信息，第四目标的外观数据包括第四目标在第二时间点的外观数据，第二时间点在第一时间点之后。
步骤S1104，根据第二目标在第一时间点的位置信息和速度信息获得第二目标在第二时间点的预测位置信息。
在一些实施例中，可将第二目标在第一时间点的位置信息和速度信息输入长短期记忆神经网络位置预测模型，获得长短期记忆神经网络位置预测模型的输出为第二目标在第二时间点的预测位置信息。例如，可利用第二观测源平时行车时收集到的数据迭代训练一个LSTM轨迹预测模型，训练集输入特征为当前时刻t的车辆横向速度、车辆纵向速度、t时刻前若干个单位时间前的历史数据，包括历史时间下车辆横向位置、车辆纵向位置、车辆横向速度、车辆纵向速度等，输出是当前时刻t车辆横向位置和车辆纵向位置。
步骤S1106，将第二目标在第二时间点的预测位置信息与第四目标在第二时间点的位置信息进行匹配，获得位置匹配结果。
在一些实施例中，可计算将第二目标的预测位置与第四目标在第二时间点的位置之间的直线距离，若该距离小于预设距离阈值，则认为是第二目标与第四目标是同一个目标，即第二目标与第四目标位置匹配成功。
在一些实施例中，若第二观测源在第二时间点观测到了多个第四目标，可将第二目标与多个第四目标逐个进行位置匹配，位置匹配成功的第四目标进行步骤S1108的外观匹配。
步骤S1108，若位置匹配结果为匹配成功，则判断第二目标在第一时间点的外观数据与第四目标在第二时间点的外观数据之间的相似度是否大于第二预设相似度阈值。
步骤S1110，若第二目标在第一时间点的外观数据与第四目标在第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将第四目标在第二时间点的位置信息作为第二目标在第二时间点的实际位置信息，以根据第二目标在第一时间点的位置信息和第二目标在第二时间点的实际位置信息获得第二目标的轨迹信息。
在一些实施例中，可以在第二目标唯一标识编码对应的文件中记录其第二时间点的位置信息，否则第二目标的轨迹待定，需要下一时间点判断第二观测源是否观测到可以匹配的目标，待匹配成功后得到第二目标的轨迹。
图12示出了图11中所示的步骤S1110在一实施例中的处理过程示意图。如图12所示，本公开实施例中，上述步骤S1110可以进一步包括以下步骤。
步骤S1202，若第二目标在第一时间点的外观数据与第四目标在第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将第二目标在第一时间点的位置信息和速度信息进行特征工程处理，获得第二目标在第一时间点的运动状态特征向量。
步骤S1204，将第四目标在第二时间点的位置信息和速度信息进行特征工程处理，获得第四目标在第二时间点的运动状态特征向量。
步骤S1206，判断第二目标在第一时间点的运动状态特征向量与第四目标在第二时间点的运动状态特征向量之间的相似度是否大于第三预设相似度阈值。
步骤S1208，若第二目标在第一时间点的运动状态特征向量与第四目标在第二时间点的运动状态特征向量之间的相似度大于第三预设相似度阈值，则将第四目标在第二时间点的位置信息作为第二目标在第二时间点的位置信息。
根据本公开实施例提供的时间配准方法，利用LSTM进行轨迹预测替代直接用加速度公式计算t+1时刻位置，降低了对定位准确性的依赖，提升了系统的灵活性。
图13是根据图2、以及图9至图12示出的一种时间配准的数据组织架构图。如图13所示，时间配准采用的数据可以包括t时刻第一(或第二)观测源观测到的第一(或第二)目标的观测数据，包括RGB特征1302、X轴位置(横向位置)1306、Y轴位置(纵向位置)1308、X轴速度(横向速度)1310和Y轴速度(纵向速度)1312等等，以及t+1时刻的RGB特征1304、X轴速度1314和Y轴速度1316等等。
如图13所示，在进行时间配准时，首先采用LSTM利用t时刻的位置和速度数据以及t+1时刻的速度进行t+1时刻的位置预测(S13004)，获得X轴预测位置1318和Y轴预测位置1320，然后可根据欧式距离计算方法对X轴预测位置1318、Y轴预测位置1320与X轴实际位置1322和Y轴实际位置1324进行非完备匹配(S13006)，若匹配成功则将t时刻的RGB特征1302和t+1时刻的RGB特征1304利用颜色直方图统计方法计算RGB特征的相似度(S13002)，若RGB特征相似度小于预设阈值，则可将t时刻数据与t+1时刻数据进行特征工程处理，完成时间配准。
图14是根据图2、图7、图8以及图13示出的时空配准流程示意图。如图14所示的时空配准流程例如可以用于车路协同场景，可以包括以下步骤S1402至S1416。
步骤S1402，流程开始。当主源1401发起目标跟踪请求后，附近的响应的从源1411向MEC设备上传其观测得到的观测数据，可以包括从源时间戳、从源位置、目标相对从源位置1413、目标相对从源横向速度与纵向速度1417、从源摄像头拍摄目标色彩特征1419；主源1401也上传相同数据结构的追踪信息，可以包括主源时间戳、主源位置、目标相对主源位置1403、目标相对主源横向速度和纵向速度1407、主源摄像头拍摄目标色彩特征1409。
步骤S1404，MEC设备接收到这些信息后，与主源1401和从源1411皆保持一段时间的通讯，直至主源1401结束目标追踪请求。
步骤S1406，将主源1401和从源1411进行时间同步。
步骤S1408，空间配准模块可利用通讯时段内的目标相对主源位置1403、目标相对主源横向速度和纵向速度1407、主源摄像头拍摄目标色彩特征1409、以及目标相对从源位置1413、目标相对从源横向速度与纵向速度1417、从源摄像头拍摄目标色彩特征1419等数据构造主、从源特征向量1421，然后计算主、从源特征向量1421的相似度，进行主、从源的空间配准，然后对主、从源观测目标取并集并进行唯一标识。具体实施方式可参照图7。
步骤S1410，对主、从源摄像头进行色准找齐，并将颜色映射参数反向传递给空间配准模块用于下一次空间配准。具体实施方式可参照图5。
步骤S1412，进行主、从源目标观测数据的融合，具体实施方式可参照步骤S710，至此完成多个观测源的空间配准。
步骤S1414，主源、从源的时间配准模块分别进行时间配准，预测各目标相对主源短时轨迹1405、各目标相对从源短时轨迹1415，并将这些轨迹反馈给主、从源，主、从源利用预测轨迹对观测到的轨迹进行卡尔曼滤波修正，具体实施方式可参照图9至图12、步骤S212至步骤S214。
步骤S1416，时空配准流程结束。
本公开实施例提供的时空配准方法，不依赖于现有2D目标追踪技术，在单源优势感知方向被遮挡的工况下，可以通过车-车、车-路交互获取更多决策区域内的数据，而不仅仅是做时序上的纵向融合，更充分考虑了同时多源的横向融合，提高了系统的灵活性。通过增加RGB通道特征对轨迹预测结果进行加权匹配，并改用LSTM进行轨迹预测降低了对定位数据的依赖，提升了时空配准的准确性，进而提高了获得轨迹的准确性。
图15示出了图14的时空配准流程中的反馈迭代机制示意图。如图15所示，可通过反馈修正模块实现色准找齐、数据融合和轨迹修正等反馈流程。
色准找齐可以在空间配准之后进行。当空间配准模块确认(S1502)为同一观测目标后，从各观测源摄像头获得的主源RGB信息1501和从源RGB信息1503中获得主、从源的明度、饱和度、色调(HSV)的映射参数(S1504)，然后色准找齐流程结束(S1506)。映射参数在后续同主、从源其他协同感知任务中使用，可以有效消除由于不同摄像头之间存在色差导致的主、从观测存在的偏差。
数据融合也可以在空间配准之后进行。当空间配准模块确认(S1502)为同一观测目标后，可将目标检测时的主源检测框1505和从源检测框1507进行合并(S1508)；还可对主源的该目标点云1509、从源的该目标点云1511进行聚类等(S1511)处理，获得该目标的特征点的集合为融合的点云数据。
轨迹修正可以在每一次时间配准之后进行，利用聚合x偏量1513通过卡尔曼滤波修正方法修正(S1514)历史主源x偏量1515和从源x偏量1517，利用聚合y偏量1523通过卡尔曼滤波修正方法修正(S1512)历史主源x偏量1519和从源x偏量1521，即利用融合轨迹通过卡尔曼滤波修正方法历史主、从观测轨迹，并在后续同主、从源同目标的下一时刻时间配准中使用修正后的历史轨迹、速度等数据。
本公开实施例提供的方法对时间、空间特征进行反向修正，提高了系统鲁棒性。
图16是根据一示例性实施例示出的一种目标轨迹获得装置的框图。如图16所示的装置例如可以应用于上述系统10的服务器端，也可以应用于上述系统10的终端设备。
参考图16，本公开实施例提供的装置160可以包括获取模块1602、获得模块1604和处理模块1606。
获取模块1602可用于获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，第一观测数据包括第一目标的运动状态数据和外观数据，第二观测数据包括第二目标的运动状态数据和外观数据。
第一目标的运动状态数据可以包括第一目标的位置信息和速度信息，第一目标的外观数据可以包括第一目标的颜色通道信息，第二目标的运动状态数据可以包括第二目标的位置信息和速度信息，第二目标的外观数据可以包括第二目标的颜色通道信息。
第一观测源采集的第一观测数据可以包括第一观测源在第一时间点采集的第一观测数据和第一观测源在第二时间点采集的第一观测数据，第二观测源采集的第二观测数据可以包括第二观测源在第一时间点采集的第二观测数据和第二观测源在第二时间点采集的第二观测数据，第二时间点在第一时间点之后。
第一目标的运动状态数据可以包括第一目标在第一时间点的位置信息和速度信息，第一目标的外观数据包括第一目标在第一时间点的外观数据。
获取模块1602还可用于：获取第一观测源采集的第三观测数据，第三观测数据包括第三目标的运动状态数据和外观数据，第三目标的运动状态数据包括第三目标在第二时间点的位置信息和速度信息，第三目标的外观数据包括第三目标在第二时间点的外观数据，第二时间点在第一时间点之后。
获得模块1604可用于根据第一观测数据获得第一目标的观测特征信息，并根据第二观测数据获得第二目标的观测特征信息。
第一目标的观测特征信息可以包括第一目标的观测特征向量，第二目标的观测特征信息可以包括第二目标的观测特征向量。
第一目标的观测特征信息可以包括第一目标的第一时间点观测特征信息和第二时间点观测特征信息，第二目标的观测特征信息可以包括第二目标的第一时间点观测特征信息和第二时间点观测特征信息。
获得模块1604还可用于基于第一目标的运动状态数据获得第一目标的轨迹信息。
获得模块1604还可用于基于第二目标的运动状态数据获得第二目标的轨迹信息。
获得模块1604还可用于：获得第一目标的观测特征向量与第二目标的观测特征向量之间的相似度。
获得模块1604还可用于根据第一目标的观测特征向量与第二目标的观测特征向量之间的相似度获得第一观测源与第二观测源的邻接矩阵。
获得模块1604还可用于：若目标匹配结果包括第一目标与第二目标匹配成功，则根据第一目标的颜色通道信息和第二目标的颜色通道信息获得第一观测源与第二观测源之间的颜色映射参数。
第一目标的颜色通道信息可以包括第一目标图像的多个像素的红绿蓝通道值，第二目标的颜色通道信息可以包括第二目标图像的多个像素的红绿蓝通道值。
获得模块1604还可用于：根据第一观测源在第一时间点采集的第一观测数据获得第一目标的第一时间点观测特征信息，并根据第二观测源在第一时间点采集的第二观测数据获得第二目标的第一时间点观测特征信息；根据第一观测源在第二时间点采集的第一观测数据获得第一目标的第二时间点观测特征信息，并根据第二观测源在第二时间点采集的第二观测数据获得第二目标的第二时间点观测特征信息。
获得模块1604还可用于：根据第一目标的位置信息获得第一目标的位置特征；根据第一目标的速度信息获得第一目标的速度特征。
获得模块1604还可用于根据第一目标在第一时间点的位置信息和速度信息获得第一目标在第二时间点的预测位置信息。
处理模块1606可用于根据第一目标的观测特征信息和第二目标的观测特征信息对第一观测源和第二观测源进行目标匹配，获得目标匹配结果。
目标匹配结果可以包括第一目标匹配结果和第二目标匹配结果。
处理模块1606还可用于若目标匹配结果包括第一目标与第二目标匹配成功，则对第一目标的轨迹信息和第二目标的轨迹信息进行融合，获得第一目标与第二目标的融合轨迹。
处理模块1606还可用于根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正，获得第一目标的修正轨迹。
处理模块1606还可用于：利用第一目标的位置信息、速度信息和颜色通道信息构造第一目标的观测特征向量，并利用第二目标的位置信息、速度信息和颜色通道信息构造第二目标的观测特征向量。
处理模块1606还可用于：根据第一目标的观测特征向量和第二目标的观测特征向量对第一观测源和第二观测源进行目标匹配。
处理模块1606还可用于基于第一观测源与第二观测源的邻接矩阵通过匈牙利算法对第一观测源与第二观测源进行非完全的目标匹配，以获得目标匹配结果。
处理模块1606还可用于：基于第一观测源与第二观测源的邻接矩阵通过匈牙利算法对第一观测源与第二观测源进行非完全的目标匹配，获得匈牙利匹配结果，匈牙利匹配结果包括第一目标与第二目标匹配成功；判断第一目标的观测特征向量与第二目标的观测特征向量之间的相似度是否大于第一预设相似度阈值；若第一目标的观测特征向量与第二目标的观测特征向量之间的相似度大于第一预设相似度阈值，则获得目标匹配结果，目标匹配结果包括第一目标与第二目标匹配成功。
处理模块1606还可用于：根据第一目标的第一时间点观测特征信息和第二目标的第一时间点观测特征信息对第一观测源和第二观测源进行目标匹配，获得第一目标匹配结果。
处理模块1606还可用于：若第一目标匹配结果包括第一目标与第二目标匹配成功，则根据第一观测源在第一时间点采集的第一观测数据中的颜色通道信息和第二观测源在第一时间点采集的第二观测数据中的颜色通道信息获得第一观测源与第二观测源之间的颜色映射参数。
处理模块1606还可用于：根据第一目标的第二时间点观测特征信息、第二目标的第二时间点观测特征信息、以及第一观测源与第二观测源之间的颜色映射参数对第一观测源和第二观测源进行目标匹配，获得第二目标匹配结果。
处理模块1606还可用于：对第一目标图像进行降采样，获得第一目标图像的各个采样像素的红绿蓝通道值，第一目标图像的多个像素包括多个采样像素；根据第一目标图像的各个采样像素的红绿蓝通道值统计第一目标图像的多个采样像素中主色调像素值的数量，获得第一目标的图像特征；将第二目标的位置特征、速度特征和图像特征进行特征工程处理，获得第二目标的观测特征向量；获得模块，还用于：根据第二目标的位置信息获得第二目标的位置特征；根据第二目标的速度信息获得第二目标的速度特征。
处理模块1606还可用于：对第二目标图像进行降采样，获得第二目标图像的各个采样像素的红绿蓝通道值，第二目标图像的多个像素包括多个采样像素；根据第二目标图像的各个采样像素的红绿蓝通道值统计第二目标图像的多个采样像素中主色调像素值的数量，获得第二目标的图像特征；将第二目标的位置特征、速度特征和图像特征进行特征工程处理，获得第二目标的观测特征向量。
处理模块1606还可用于将第一目标在第二时间点的预测位置信息与第三目标在第二时间点的位置信息进行匹配，获得位置匹配结果；若位置匹配结果为匹配成功，则判断第一目标在第一时间点的外观数据与第三目标在第二时间点的外观数据之间的相似度是否大于第二预设相似度阈值；若第一目标在第一时间点的外观数据与第三目标在第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将第三目标在第二时间点的位置信息作为第一目标在第二时间点的实际位置信息，以根据第一目标在第一时间点的位置信息和第一目标在第二时间点的实际位置信息获得第一目标的轨迹信息。
处理模块1606还可用于：将第一目标在第一时间点的位置信息和速度信息输入长短期记忆神经网络位置预测模型，获得长短期记忆神经网络位置预测模型的输出为第一目标在第二时间点的预测位置信息。
处理模块1606还可用于：若第一目标在第一时间点的外观数据与第三目标在第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将第一目标在第一时间点的位置信息和速度信息进行特征工程处理，获得第一目标在第一时间点的运动状态特征向量；将第三目标在第二时间点的位置信息和速度信息进行特征工程处理，获得第三目标在第二时间点的运动状态特征向量；判断第一目标在第一时间点的运动状态特征向量与第三目标在第二时间点的运动状态特征向量之间的相似度是否大于第三预设相似度阈值；若第一目标在第一时间点的运动状态特征向量与第三目标在第二时间点的运动状态特征向量之间的相似度大于第三预设相似度阈值，则将第三目标在第二时间点的位置信息作为第一目标在第二时间点的位置信息。
处理模块1606还可用于：通过卡尔曼滤波算法根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正。
本公开实施例提供的装置中的各个模块的具体实现可以参照上述方法中的内容，此处不再赘述。
图17示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图17示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图17所示，设备1700包括中央处理单元(CPU)1701，其可以根据存储在只读存储器(ROM)1702中的程序或者从存储部分1708加载到随机访问存储器(RAM)1703中的程序而执行各种适当的动作和处理。在RAM 1703中，还存储有设备1700操作所需的各种程序和数据。CPU1701、ROM 1702以及RAM 1703通过总线1704彼此相连。输入/输出(I/O)接口1705也连接至总线1704。
以下部件连接至I/O接口1705：包括键盘、鼠标等的输入部分1706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1707；包括硬盘等的存储部分1708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1710上，以便于从其上读出的计算机程序根据需要被安装入存储部分1708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理单元(CPU)1701执行时，执行本公开的系统中限定的上述功能。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、获得模块和处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，获取模块还可以被描述为“获取各观测源采集的数据的模块”。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，第一观测数据包括第一目标的运动状态数据和外观数据，第二观测数据包括第二目标的运动状态数据和外观数据；根据第一观测数据获得第一目标的观测特征信息，并根据第二观测数据获得第二目标的观测特征信息；根据第一目标的观测特征信息和第二目标的观测特征信息对第一观测源和第二观测源进行目标匹配，获得目标匹配结果；基于第一目标的运动状态数据获得第一目标的轨迹信息；基于第二目标的运动状态数据获得第二目标的轨迹信息；若目标匹配结果包括第一目标与第二目标匹配成功，则对第一目标的轨迹信息和第二目标的轨迹信息进行融合，获得第一目标与第二目标的融合轨迹；根据第一目标与第二目标的融合轨迹对第一目标的轨迹信息进行修正，获得第一目标的修正轨迹。
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (14)

1.一种目标轨迹获得方法，其特征在于，包括：
获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，所述第一观测数据包括第一目标的运动状态数据和外观数据，所述第二观测数据包括第二目标的运动状态数据和外观数据；
根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息；
根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果；
基于所述第一目标的运动状态数据获得所述第一目标的轨迹信息；
基于所述第二目标的运动状态数据获得所述第二目标的轨迹信息；
若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则对所述第一目标的轨迹信息和所述第二目标的轨迹信息进行融合，获得所述第一目标与所述第二目标的融合轨迹；
根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正，获得所述第一目标的修正轨迹。
2.根据权利要求1所述的方法，其特征在于，所述第一目标的运动状态数据包括所述第一目标的位置信息和速度信息，所述第一目标的外观数据包括所述第一目标的颜色通道信息，所述第二目标的运动状态数据包括所述第二目标的位置信息和速度信息，所述第二目标的外观数据包括所述第二目标的颜色通道信息；
所述第一目标的观测特征信息包括所述第一目标的观测特征向量，所述第二目标的观测特征信息包括所述第二目标的观测特征向量；
根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息，包括：
利用所述第一目标的位置信息、速度信息和颜色通道信息构造所述第一目标的观测特征向量，并利用所述第二目标的位置信息、速度信息和颜色通道信息构造所述第二目标的观测特征向量；
根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，包括：
根据所述第一目标的观测特征向量和所述第二目标的观测特征向量对所述第一观测源和所述第二观测源进行目标匹配。
3.根据权利要求2所述的方法，其特征在于，根据所述第一目标的观测特征向量和所述第二目标的观测特征向量对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果，包括：
获得所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度；
根据所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度获得所述第一观测源与所述第二观测源的邻接矩阵；
基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，以获得所述目标匹配结果。
4.根据权利要求3所述的方法，其特征在于，基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，以获得所述目标匹配结果，包括：
基于所述第一观测源与所述第二观测源的邻接矩阵通过匈牙利算法对所述第一观测源与所述第二观测源进行非完全的目标匹配，获得匈牙利匹配结果，所述匈牙利匹配结果包括所述第一目标与所述第二目标匹配成功；
判断所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度是否大于第一预设相似度阈值；
若所述第一目标的观测特征向量与所述第二目标的观测特征向量之间的相似度大于所述第一预设相似度阈值，则获得所述目标匹配结果，所述目标匹配结果包括所述第一目标与所述第二目标匹配成功。
5.根据权利要求2所述的方法，其特征在于，还包括：
若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一目标的颜色通道信息和所述第二目标的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数。
6.根据权利要求5所述的方法，其特征在于，第一观测源采集的第一观测数据包括所述第一观测源在第一时间点采集的第一观测数据和所述第一观测源在第二时间点采集的第一观测数据，第二观测源采集的第二观测数据包括所述第二观测源在所述第一时间点采集的第二观测数据和所述第二观测源在所述第二时间点采集的第二观测数据，所述第二时间点在所述第一时间点之后；
所述第一目标的观测特征信息包括所述第一目标的第一时间点观测特征信息和第二时间点观测特征信息，所述第二目标的观测特征信息包括所述第二目标的第一时间点观测特征信息和第二时间点观测特征信息；
根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息，包括：
根据所述第一观测源在第一时间点采集的第一观测数据获得所述第一目标的第一时间点观测特征信息，并根据所述第二观测源在所述第一时间点采集的第二观测数据获得所述第二目标的第一时间点观测特征信息；
根据所述第一观测源在第二时间点采集的第一观测数据获得所述第一目标的第二时间点观测特征信息，并根据所述第二观测源在所述第二时间点采集的第二观测数据获得所述第二目标的第二时间点观测特征信息；
所述目标匹配结果包括第一目标匹配结果和第二目标匹配结果；
根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果，包括：
根据所述第一目标的第一时间点观测特征信息和所述第二目标的第一时间点观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得所述第一目标匹配结果；
若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一目标的颜色通道信息和所述第二目标的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数，包括：
若所述第一目标匹配结果包括所述第一目标与所述第二目标匹配成功，则根据所述第一观测源在第一时间点采集的第一观测数据中的颜色通道信息和所述第二观测源在所述第一时间点采集的第二观测数据中的颜色通道信息获得所述第一观测源与所述第二观测源之间的颜色映射参数；
根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果，包括：
根据所述第一目标的第二时间点观测特征信息、所述第二目标的第二时间点观测特征信息、以及所述第一观测源与所述第二观测源之间的颜色映射参数对所述第一观测源和所述第二观测源进行目标匹配，获得所述第二目标匹配结果。
7.根据权利要求2所述的方法，其特征在于，所述第一目标的颜色通道信息包括第一目标图像的多个像素的红绿蓝通道值，所述第二目标的颜色通道信息包括第二目标图像的多个像素的红绿蓝通道值；
利用所述第一目标的位置信息、速度信息和颜色通道信息构造所述第一目标的观测特征向量，并利用所述第二目标的位置信息、速度信息和颜色通道信息构造所述第二目标的观测特征向量，包括：
根据所述第一目标的位置信息获得所述第一目标的位置特征；
根据所述第一目标的速度信息获得所述第一目标的速度特征；
对所述第一目标图像进行降采样，获得所述第一目标图像的各个采样像素的红绿蓝通道值，所述第一目标图像的多个像素包括多个采样像素；
根据所述第一目标图像的各个采样像素的红绿蓝通道值统计所述第一目标图像的多个采样像素中主色调像素值的数量，获得所述第一目标的图像特征；
将所述第一目标的位置特征、速度特征和图像特征进行特征工程处理，获得所述第一目标的观测特征向量；
根据所述第二目标的位置信息获得所述第二目标的位置特征；
根据所述第二目标的速度信息获得所述第二目标的速度特征；
对所述第二目标图像进行降采样，获得所述第二目标图像的各个采样像素的红绿蓝通道值，所述第二目标图像的多个像素包括多个采样像素；
根据所述第二目标图像的各个采样像素的红绿蓝通道值统计所述第二目标图像的多个采样像素中主色调像素值的数量，获得所述第二目标的图像特征；
将所述第二目标的位置特征、速度特征和图像特征进行特征工程处理，获得所述第二目标的观测特征向量。
8.根据权利要求1所述的方法，其特征在于，所述第一目标的运动状态数据包括所述第一目标在第一时间点的位置信息和速度信息，所述第一目标的外观数据包括所述第一目标在所述第一时间点的外观数据；
基于所述第一目标的运动状态数据获得所述第一目标的轨迹信息，包括：
获取所述第一观测源采集的第三观测数据，所述第三观测数据包括第三目标的运动状态数据和外观数据，所述第三目标的运动状态数据包括所述第三目标在第二时间点的位置信息，所述第三目标的外观数据包括所述第三目标在所述第二时间点的外观数据，所述第二时间点在所述第一时间点之后；
根据所述第一目标在所述第一时间点的位置信息和速度信息获得所述第一目标在所述第二时间点的预测位置信息；
将所述第一目标在所述第二时间点的预测位置信息与所述第三目标在所述第二时间点的位置信息进行匹配，获得位置匹配结果；
若所述位置匹配结果为匹配成功，则判断所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度是否大于第二预设相似度阈值；
若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于所述第二预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的实际位置信息，以根据所述第一目标在所述第一时间点的位置信息和所述第一目标在所述第二时间点的实际位置信息获得所述第一目标的轨迹信息。
9.根据权利要求8所述的方法，其特征在于，根据所述第一目标在所述第一时间点的位置信息和速度信息获得所述第一目标在所述第二时间点的预测位置信息，包括：
将所述第一目标在所述第一时间点的位置信息和速度信息输入长短期记忆神经网络位置预测模型，获得所述长短期记忆神经网络位置预测模型的输出为所述第一目标在所述第二时间点的预测位置信息。
10.根据权利要求8所述的方法，其特征在于，若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于所述第二预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的位置信息，包括：
若所述第一目标在所述第一时间点的外观数据与所述第三目标在所述第二时间点的外观数据之间的相似度大于第二预设相似度阈值，则将所述第一目标在第一时间点的位置信息和速度信息进行特征工程处理，获得所述第一目标在第一时间点的运动状态特征向量；
将所述第三目标在第二时间点的位置信息和速度信息进行特征工程处理，获得所述第三目标在第二时间点的运动状态特征向量；
判断所述第一目标在第一时间点的运动状态特征向量与所述第三目标在第二时间点的运动状态特征向量之间的相似度是否大于第三预设相似度阈值；
若所述第一目标在第一时间点的运动状态特征向量与所述第三目标在第二时间点的运动状态特征向量之间的相似度大于所述第三预设相似度阈值，则将所述第三目标在第二时间点的位置信息作为所述第一目标在所述第二时间点的位置信息。
11.根据权利要求1所述的方法，其特征在于，根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正，包括：
通过卡尔曼滤波算法根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正。
12.一种目标轨迹获得装置，其特征在于，包括：
获取模块，用于获取第一观测源采集的第一观测数据和第二观测源采集的第二观测数据，所述第一观测数据包括第一目标的运动状态数据和外观数据，所述第二观测数据包括第二目标的运动状态数据和外观数据；
获得模块，用于根据所述第一观测数据获得所述第一目标的观测特征信息，并根据所述第二观测数据获得所述第二目标的观测特征信息；
所述获得模块，还用于基于所述第一目标的运动状态数据获得所述第一目标的轨迹信息；
所述获得模块，还用于基于所述第二目标的运动状态数据获得所述第二目标的轨迹信息；
处理模块，用于根据所述第一目标的观测特征信息和所述第二目标的观测特征信息对所述第一观测源和所述第二观测源进行目标匹配，获得目标匹配结果；
所述处理模块，还用于若所述目标匹配结果包括所述第一目标与所述第二目标匹配成功，则对所述第一目标的轨迹信息和所述第二目标的轨迹信息进行融合，获得所述第一目标与所述第二目标的融合轨迹；
所述处理模块，还用于根据所述第一目标与所述第二目标的融合轨迹对所述第一目标的轨迹信息进行修正，获得所述第一目标的修正轨迹。
13.一种电子设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-11任一项所述的方法。
CN202210533845.1A 2022-05-16 2022-05-16 目标轨迹获得方法、装置、设备及存储介质 Active CN114943943B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210533845.1A CN114943943B (zh) 2022-05-16 2022-05-16 目标轨迹获得方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210533845.1A CN114943943B (zh) 2022-05-16 2022-05-16 目标轨迹获得方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114943943A true CN114943943A (zh) 2022-08-26
CN114943943B CN114943943B (zh) 2023-10-03

Family

ID=82907666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210533845.1A Active CN114943943B (zh) 2022-05-16 2022-05-16 目标轨迹获得方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114943943B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304229A1 (en) * 2008-06-06 2009-12-10 Arun Hampapur Object tracking using color histogram and object size
CN102662949A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术（中国）有限公司 一种基于多特征融合的指定目标检索方法及系统
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质
CN111476780A (zh) * 2020-04-07 2020-07-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
US20200288092A1 (en) * 2019-03-07 2020-09-10 Beijing Boe Display Technology Co., Ltd. Model training method, chromatic aberration correction method, apparatus, medium and electronic device
CN111881840A (zh) * 2020-07-30 2020-11-03 北京交通大学 一种基于图网络的多目标跟踪方法
CN112800944A (zh) * 2021-01-26 2021-05-14 北京市商汤科技开发有限公司 人群行为检测方法及装置、电子设备和存储介质
US20210148727A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Simulating diverse long-term future trajectories in road scenes
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113763430A (zh) * 2021-09-13 2021-12-07 智道网联科技(北京)有限公司 检测移动目标的方法、装置和计算机可读存储介质
CN114049382A (zh) * 2022-01-12 2022-02-15 华砺智行(武汉)科技有限公司 一种智能网联环境下目标融合跟踪方法、系统和介质
CN114119671A (zh) * 2021-12-01 2022-03-01 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114373154A (zh) * 2022-01-13 2022-04-19 南京航空航天大学 密集人群场景下多目标跟踪的外观特征更新方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090304229A1 (en) * 2008-06-06 2009-12-10 Arun Hampapur Object tracking using color histogram and object size
CN102662949A (zh) * 2012-02-27 2012-09-12 安科智慧城市技术（中国）有限公司 一种基于多特征融合的指定目标检索方法及系统
US20200288092A1 (en) * 2019-03-07 2020-09-10 Beijing Boe Display Technology Co., Ltd. Model training method, chromatic aberration correction method, apparatus, medium and electronic device
US20210148727A1 (en) * 2019-11-14 2021-05-20 Nec Laboratories America, Inc. Simulating diverse long-term future trajectories in road scenes
CN111242221A (zh) * 2020-01-14 2020-06-05 西交利物浦大学 基于图匹配的图像匹配方法、系统及存储介质
CN111476780A (zh) * 2020-04-07 2020-07-31 腾讯科技（深圳）有限公司 一种图像检测方法、装置、电子设备以及存储介质
CN111881840A (zh) * 2020-07-30 2020-11-03 北京交通大学 一种基于图网络的多目标跟踪方法
CN112800944A (zh) * 2021-01-26 2021-05-14 北京市商汤科技开发有限公司 人群行为检测方法及装置、电子设备和存储介质
CN113447923A (zh) * 2021-06-29 2021-09-28 上海高德威智能交通系统有限公司 目标检测方法、装置、系统、电子设备及存储介质
CN113763430A (zh) * 2021-09-13 2021-12-07 智道网联科技(北京)有限公司 检测移动目标的方法、装置和计算机可读存储介质
CN114119671A (zh) * 2021-12-01 2022-03-01 清华大学 一种基于遮挡补偿的立体空间信息融合的多目标跟踪方法
CN114049382A (zh) * 2022-01-12 2022-02-15 华砺智行(武汉)科技有限公司 一种智能网联环境下目标融合跟踪方法、系统和介质
CN114373154A (zh) * 2022-01-13 2022-04-19 南京航空航天大学 密集人群场景下多目标跟踪的外观特征更新方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张寅;蔡旭阳;闫钧华;苏恺;张琨;: "联合时空信息和轨迹关联的空中多目标检测", 武汉大学学报(信息科学版), no. 10 *
雷景生;李誉坤;杨忠光;: "融合二维姿态信息的相似多目标跟踪", 计算机工程与设计, no. 10 *

Also Published As

Publication number Publication date
CN114943943B (zh) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
US10574970B2 (en) Apparatus and method for focal length adjustment and depth map determination
US10867166B2 (en) Image processing apparatus, image processing system, and image processing method
CN110164135B (zh) 一种定位方法、定位装置及定位系统
US11132538B2 (en) Image processing apparatus, image processing system, and image processing method
CN112556685B (zh) 导航路线的显示方法、装置和存储介质及电子设备
CN115655262B (zh) 基于深度学习感知的多层级语义地图构建方法和装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN111784730A (zh) 一种对象跟踪方法、装置、电子设备及存储介质
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
CN115855079A (zh) 一种时间异步的感知传感器融合方法
CN109903308B (zh) 用于获取信息的方法及装置
CN114943943B (zh) 目标轨迹获得方法、装置、设备及存储介质
CN115407355B (zh) 库位地图的验证方法、装置及终端设备
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN116109698A (zh) 目标虚拟车位坐标值的确定方法、装置及存储介质
CN113780247B (zh) 红绿灯检测方法、装置、电子设备和计算机可读介质
CN112639864B (zh) 用于测距的方法和装置
CN114637372A (zh) 具有重叠虚拟信息的便携式显示设备
CN112991388A (zh) 基于光流跟踪预测和凸几何距离的线段特征跟踪方法
CN113470067A (zh) 数据处理方法、装置、存储介质和处理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant