CN112215036B - 跨镜追踪方法、装置、设备及存储介质 - Google Patents

跨镜追踪方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112215036B
CN112215036B CN201910619815.0A CN201910619815A CN112215036B CN 112215036 B CN112215036 B CN 112215036B CN 201910619815 A CN201910619815 A CN 201910619815A CN 112215036 B CN112215036 B CN 112215036B
Authority
CN
China
Prior art keywords
image
real
target
virtual
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910619815.0A
Other languages
English (en)
Other versions
CN112215036A (zh
Inventor
黄黎滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201910619815.0A priority Critical patent/CN112215036B/zh
Publication of CN112215036A publication Critical patent/CN112215036A/zh
Application granted granted Critical
Publication of CN112215036B publication Critical patent/CN112215036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种跨镜追踪方法、装置、设备及存储介质。该方法包括：获取真实场景中的真实基准视角图像和真实目标视角图像，根据目标对象在真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定目标对象在真实目标视角图像中的位置，确定目标对象在真实场景中的样本图像，将样本图像作为训练样本，对跨镜追踪模型进行优化。上述方案实现了自动获取目标对象的不同视角图像作为样本图像，从而自动、实时对跨镜追踪模型进行优化，不需要人工标注和采集样本图像，提高了跨镜追踪模型优化的效率和精准度，从而提高跨镜追踪模型的识别效率。

Description

跨镜追踪方法、装置、设备及存储介质
技术领域
本发明实施例涉及跨镜追踪技术领域，尤其涉及一种跨镜追踪方法、装置、设备及存储介质。
背景技术
跨镜追踪技术(Person Re-Identification，ReID)是现在计算机视觉研究的热门方向，该技术可以作为人脸识别技术的重要补充，可以对无法获取清晰拍摄人脸的行人进行跨摄像头连续跟踪，增强数据的时空连续性。
在利用跨镜追踪技术进行任务追踪时，需要通过多个摄像头拍摄视频序列，获取多个摄像头视角下的图像。目前数据集通常是由人工标注或检测算法得到多个视角下图像中的目标任务的图像，而采用此方案会导致图像获取速度慢，效率低，并且算法检测会造成较大的检测误差，检测准确性低。
发明内容
本发明实施例提供一种跨镜追踪方法、装置、设备及存储介质，以实现自动、准确地获取多角度的图像对跨境追踪模型进行优化。
第一方面，本发明实施例提供了一种跨镜追踪方法，该方法包括：
获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
第二方面，本发明实施例提供了一种跨镜追踪装置，该装置包括：
图像获取模块，用于获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
目标视角图像位置确定模块，用于根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
样本图像确定模块，用于根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
模型优化模块，用于将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的跨镜追踪方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的跨镜追踪方法。
本发明实施例中，获取真实场景中的真实基准视角图像和真实目标视角图像，根据目标对象在真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定目标对象在真实目标视角图像中的位置，确定目标对象在真实场景中的样本图像，将样本图像作为训练样本，对跨镜追踪模型进行优化。上述方案实现了在跨镜追踪模型优化过程中自动获取目标对象的不同视角图像，从而自动、实时地对跨镜追踪模型进行优化，不需要人工标注和采集样本图像，提高了目标对象不同视角图像采集的准确性，提高了跨镜追踪模型优化的效率和精准度，从而提高跨镜追踪模型的识别效率。
附图说明
图1为本发明一种实施例提供的一种跨镜追踪方法的流程图；
图2为本发明又一实施例提供的一种跨镜追踪方法的流程图；
图3为本发明另一实施例提供的一种跨镜追踪方法的流程图；
图4为本发明另一实施例的虚拟场景下基准虚拟视角图像示意图；
图5为本发明另一实施例的虚拟场景下多视角图像示意图；
图6为本发明另一实施例的虚拟基准图像采集器透视投影示意图；
图7为本发明再一实施例提供的一种跨镜追踪方法的流程图；
图8为本发明一种实施例提供的一种跨镜追踪装置结构示意图；
图9为本发明一种实施例提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明一种实施例提供的一种跨镜追踪方法的流程图。本实施例提供的跨镜追踪方法可适用于在根据跨镜追踪技术中，对跨境追踪模型进行优化以提高识别率的情况，该方法具体可以由跨镜追踪装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在设备中，参见图1，本发明实施例的方法具体包括：
S110、获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同。
其中，所述真实场景为在真实图像采集器拍摄下的监控场景，所述真实图像采集器为实际存在的用于对真实场景进行图像采集的装置，例如照相机、摄像头等装置。在本发明实施例中，所述真实图像采集器为至少两个，包括真实基准图像采集器和真实目标图像采集器，真实基准图像采集器与真实目标图像采集器的拍摄视角不同。在真实场景中真实基准图像采集器采集的图像为真实基准视角图像，真实目标图像采集器采集的图像为真实目标视角图像。
S120、根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置。
其中，所述目标对象为真实场景中存在的对象，可以为当前静止的对象，也可以为当前移动中的对象。在跨镜追踪技术中，目标对象可以选择能够移动的对象，以在目标对象发生移动时对其进行追踪和识别，而对于保持静止的对象不作处理。所述空间转换信息为目标对象出现在真实场景各个视角图像中的位置信息和虚拟场景中各个视角图像中的位置信息的转换信息。
其中，所述虚拟场景为根据真实场景构建的虚拟场景模型，可以为二维虚拟场景模型，也可以为三维虚拟场景模型，示例性的，可以对真实场景基于倾斜摄像构建三维模型，形成虚拟场景，也可以基于真实场景以任意比例绘制三维模型，形成虚拟场景。所述虚拟图像采集器与所述真实图像采集器的安装位置、监控视角、CCD尺寸以及焦距信息完全一致，以保证各虚拟图像采集器的成像效果与对应的真实图像采集器的成像效果一致。所述虚拟图像采集器为至少两个，包括虚拟基准图像采集器和虚拟目标图像采集器，虚拟基准图像采集器和虚拟目标图像采集器的拍摄视角不同。其中，真实基准图像采集器和虚拟基准图像采集器的拍摄视角相同，真实目标图像采集器和虚拟目标图像采集器的拍摄视角相同。所述基准视角图像为真实基准图像采集器获取的在真实场景下的图像。
具体的，在跨镜追踪技术中，对目标对象进行跨境追踪时，需要根据目标对象的一个视角下的检索图像获取目标对象的其他视角的图像，因此，在对跨镜追踪模型进行优化的过程中，需要获取目标对象的不同视角图像对跨镜追踪模型进行训练优化。在现有方案中，需要人工标注获取不同视角图像中目标对象的位置信息，从而获取目标对象的不同视角图像，此方案只能实现在模型应用之前实现对模型的优化，而无法再模型应用过程中实现自动训练优化，模型优化实时性低，不能在应用过程中实时优化提高识别率，以满足不同场景下对模型识别率的要求。因此，在本发明实施例中，不需要人工获取目标对象的各个视角图像，只需要获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，就可以通过真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置，从而进一步推算出目标对象在真实场景下的不同视角图像，进一步对跨镜追踪模型进行优化。
S130、根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像。
可选的，根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像，包括：根据所述目标对象在所述真实基准视角图像中的位置，以及第一预设位置范围阈值，确定所述目标对象在所述真实基准视角图像中的图像区域，作为基准视角样本图像；根据所述目标对象在所述真实目标视角图像中的位置，以及第二预设位置范围阈值，确定所述目标对象在所述真实目标视角图像中的图像区域，作为目标视角样本图像；将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像。
具体的，根据所述目标对象在所述真实基准视角图像中的位置，设定第一预设位置范围阈值，例如矩形框范围，将矩形框范围圈中的图像作为目标对象在所述真实基准视角图像中的图像区域，并作为基准视角样本图像。
可选的，根据目标对象在真实目标视角图像中的位置，确定与目标对象在真实目标视角图像中的位置的距离满足第二预设位置范围阈值的单个对象的图像区域作为目标对象在真实目标视角图像中的图像区域，作为目标视角样本图像。另一可选的，根据目标对象在真实目标视角图像中的位置，确定与目标对象在真实目标视角图像中的位置的距离满足第二预设位置范围阈值的多个对象的候选图像区域，再进一步根据多个目标对象的候选图像区域和基准视角样本图像的相似度值，在多个目标对象的候选图像区域中确定目标对象在真实目标视角图像中的图像区域，作为目标视角样本图像。再一可选的，将对应像素点以及预设范围阈值内的像素点对应的图像区域作为目标对象在真实场景下的目标视角图像，示例性的，即当真实基准视角图像和真实目标视角图像为矩形图像时，确定目标对象位置到图像左边界的距离a，目标对象位置到图像上边界的距离b，基准视角图像的长为L，高为H，得到目标对象的比例坐标(a/L，b/H)。例如，根据目标对象在真实场景下目标视角图像中的位置确定比例坐标为(20％，40％)，将20％乘以真实图像采集器拍摄图像分辨率中表示长度方向的分辨率，将40％乘以真实图像采集器拍摄图像分辨率表示宽度方向的分辨率，得到像素点的位置。例如对于分辨率为(1920*1680)的图像，(1920*20％，1680*40％)即为目标对象在真实目标视角图像中对应的像素点。可以设定距离该像素点为圆心50个像素点为半径的圆形区域为目标对象在所述真实目标视角图像中的图像区域，并作为目标视角样本图像。
在本发明的另一个具体实施例中，在获取基准视角样本图像和目标视角样本图像之后，可以进一步对其进行判断，以确认其是否为同一目标对象的不同视角图像，若属于同一目标对象的不同视角图像，则将其确定为目标对象在真实场景中的样本图像，以根据样本图像对跨镜追踪模型进行优化。
S140、将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
其中，所述跨镜追踪模型可以基于表征学习、度量学习、局部特征学习等思路，将全局特征和局部特征结合，通过全局特征对图像整体上的宏观特征进行提取，利用局部特征细粒度提取细节信息，最终构建多粒度网络，也可以基于卷积神经网络学习算法构建跨镜追踪模型。示例性的，若追踪目标为人，对于用于网络训练的训练数据，需要具备以下特点：必须跨摄像头采集，公开数据集的数据规模非常小，影响因素复杂多样，数据一般都是视频的连续截图，同一个人最好有多张全身照片。由于跨镜追踪模型会受到多种图像差异因素的影响，其训练过程需要消除各种因素的影响。其中，对跨镜追踪模型评价的指标主要包括首位命中率和平均精度均值，首位命中率即判断排在第一位的图像中是否命中本人，平均净度均值反映目标对象在其对应的所有正确图片中排在结果队列前面的程度，能够综合体现跨镜追踪模型真实水平。具体的，在跨镜追踪技术中，预先构建跨镜追踪模型，所述跨镜追踪模型可以用于对待追踪对象进行追踪，以获得待追踪对象的不同视角图像以确定待追踪对象所出现的地点。将训练样本图像输入至跨镜追踪模型中，不断调整参数以至跨镜追踪模型的输出满足精度要求，从而实现跨镜追踪模型的优化。
可选的，跨镜追踪模型的自动优化可以在实际应用中完成。示例性的，以当前的跨镜追踪模型对待追踪对象进行追踪，得到待追踪对象的基准视角图像a和目标视角图像b，进一步确定待追踪对象的样本图像，将样本图像输入至跨镜追踪模型，对跨镜追踪模型进行参数调整实现优化，再基于优化后的跨境追踪模型对待追踪对象进行追踪，得到待追踪对象当前的基准视角图像c和目标视角图像d，基准视角图像是已被判断为待追踪对象的图像，再次获得的待追踪对象当前的基准视角图像可以与上次获得的基准视角图像相同，也可不同，即上述得到待追踪对象当前的基准视角图像可以是是c，也可以是a，进一步确定样本图像对跨镜追踪模型继续进行优化，依据上述方案对跨镜追踪模型进行循环训练优化，从而实现跨镜追踪模型自动的自学习过程。
本发明实施例中，获取真实场景中的真实基准视角图像和真实目标视角图像，根据目标对象在真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定目标对象在真实目标视角图像中的位置，确定目标对象在真实场景中的样本图像，将样本图像作为训练样本，对跨镜追踪模型进行优化。上述方案实现了在跨镜追踪模型优化过程中自动获取目标对象的不同视角图像，从而自动、实时地对跨镜追踪模型进行优化，不需要人工标注和采集样本图像，提高了目标对象不同视角图像采集的准确性，提高了跨镜追踪模型优化的效率和精准度，从而提高跨镜追踪模型的识别效率。
图2为本发明又一实施例提供的一种跨镜追踪方法的流程图。在上述实施例的基础上进行了优化，未在本实施例中详细描述的细节详见上述实施例。参见图2，本实施例提供的跨镜追踪方法可以包括：
S210、根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息以及虚拟场景中的虚拟基准图像采集器位置，确定所述目标对象在虚拟场景中的虚拟位置。
具体的，通过人工获取多角度图像的方案效率低，且人工获取的准确性较低，因此，在本发明实施例中，并不需要人工获取目标对象在真实场景下各个视角的图像，而是仅获取目标对象在真实场景下的真实基准视角图像，确定目标对象在真实场景下基准视角图像中的位置，进一步结合虚拟场景中的虚拟基准图像采集器位置，确定目标对象在虚拟场景中的虚拟位置。所述虚拟位置在虚拟场景中的具体坐标位置固定，不会因虚拟图像采集器的视角变化而变化，因此基于目标对象在虚拟场景中的虚拟位置确定的目标对象在真实目标视角图像中的位置具有高精确性。本发明实施例中的方案可以仅需获取目标对象在真实场景下的真实基准视角图像，而不需要人工采集各个视角的图像，提高了图像获取的效率和准确性。
S220、根据所述目标对象在虚拟场景中的虚拟位置，以及虚拟场景中虚拟目标图像采集器位置，确定所述目标对象在虚拟场景的虚拟目标视角图像中的位置。
其中，所述目标对象在虚拟场景的虚拟目标视角图像中的位置可以为目标对象在真实目标视角图像中的具体坐标信息，也可以为比例坐标信息。所述比例坐标信息为目标对象在真实目标视角图像中的位置距其他参照点的距离与目标视角图像尺寸的比例。
具体的，想要获取目标对象在真实目标视角图像中的图像区域，需要通过目标对象在真实基准视角图像中的位置，确定目标对象在真实目标视角图像中的位置。因此，在确定所述目标对象在虚拟场景中的虚拟位置后，根据虚拟位置以及虚拟场景中虚拟目标图像采集器位置，依据虚拟场景中图像采集器的成像原理，确定目标对象在虚拟场景下的成像点，再进一步根据成像点确定目标对象在真实目标视角图像中的位置。
S230、根据所述目标对象在虚拟场景的虚拟目标视角图像中的位置和真实场景与虚拟场景之间的空间转换信息，确定所述目标对象在所述真实目标视角图像中的位置。
具体的，在应用跨镜追踪技术对目标对象进行跟踪时，需要根据目标对象的检索图像获取目标对象的各个视角的图像，从而实现对目标对象的追踪，因此，在对跨镜追踪模型进行训练和优化时，需要在多个视角图像中确定目标对象对应的目标视角图像，作为训练样本对跨镜追踪模型进行优化以提高其识别率。在本发明实施例中，根据目标对象在真实场景下目标视角图像中的位置，从而确定目标对象在真实目标视角图像中的位置，以确定目标对象在真实目标视角图像中的图像区域。
S240、根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像。
S250、将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
本发明实施例的技术方案，根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息以及虚拟场景中的虚拟基准图像采集器位置，确定所述目标对象在虚拟场景中的虚拟位置；根据所述目标对象在虚拟场景中的虚拟位置，以及虚拟场景中虚拟目标图像采集器位置，确定所述目标对象在虚拟场景的虚拟目标视角图像中的位置；根据所述目标对象在虚拟场景的虚拟目标视角图像中的位置和真实场景与虚拟场景之间的空间转换信息，确定所述目标对象在所述真实目标视角图像中的位置。上述方案通过真实场景和虚拟场景之间精确地位置数据转换，自动获取不同视角下的目标对象的图像，不需要进行人工标注和采集，提高了多视角图像采集的准确性，从而提高了跨镜追踪模型优化的效率和精确度。
图3为本发明另一实施例提供的一种跨镜追踪方法的流程图。本实施例在上述实施例的基础上进行了优化，未在本实施例中详细描述的细节详见上述实施例。参见图3，本实施例提供的跨镜追踪方法可以包括：
S310、根据目标对象在所述真实基准视角图像中的位置，以及真实场景与虚拟场景之间的空间转换信息，确定目标对象在虚拟场景的虚拟基准视角图像中的位置。
其中所述真实基准图像采集器与所述虚拟基准图像采集器的视角相同。
具体的，由于真实基准图像采集器和虚拟基准图像采集器的视角相同，视角图像相同，因此，目标对象在真实基准视角图像中的比例坐标与目标对象在虚拟基准视角图像中的比例坐标相同。确定目标对象在真实基准视角图像中的位置，即比例坐标。虚拟基准图像采集器为透视投影，即其投影区域为截锥六面体，根据六个平面和近裁剪面的相关点坐标可以得到虚拟基准图像采集器的投影矩阵，再进一步确定虚拟基准图像采集器的视图矩阵，根据投影矩阵、视图矩阵和虚拟基准图像采集器的投影平面的参数，可以确定目标对象在基准视角图像中的比例坐标相对应的目标对象在基准虚拟视角图像中的三维世界坐标，以此确定目标对象在基准虚拟视角图像中的位置。
如图4和图5所示所示，图4中的场景为虚拟场景，POS1点为虚拟基准图像采集器位置，POS2点为目标对象在基准虚拟视角图像中的位置，POS3点为目标对象在虚拟场景中的虚拟位置，POS1’点为虚拟目标图像采集器位置，POS2’点为目标对象在目标虚拟视角图像中的位置，示例性的，假设真实场景下的基准视角图像长为W、宽为H，虚拟场景中的虚拟基准视角图像长为W’、宽为H’，由于真实图像采集器和虚拟图像采集器的参数一致，因此可以得知W/H＝W’/H’，目标对象在真实场景下基准视角图像中的位置为(Xa,Ya)，目标对象在真实基准视角图像中的位置与真实基准视角图像尺寸的比例关系为(Xa/W,Ya/H)，因此可以确定目标对象在虚拟场景下的虚拟基准视角图像中的位置为(Xa’，Ya’)＝(W’*Xa/W，H’*Ya/H)。进一步，如图6所示，根据虚拟基准图像采集器的截锥六面体投影区域中的近裁剪面的左下角坐标为(l,b,n)，近裁剪面的右上角坐标为(r,t,n)，近裁剪面距离为n，远裁剪面距离为f，确定虚拟基准图像采集器的投影矩阵Mp，
其中，
计算虚拟基准图像采集器的视图矩阵Mv，即从世界坐标系转换到摄像机坐标系的换算矩阵。视图矩阵Mv包含两部分，虚拟基准图像采集器的旋转变换矩阵R和位移变换矩阵T，因此
虚拟基准图像采集器近裁剪面处的空间坐标V＝(Xa’,Ya’,n)，可推导该点的实际世界坐标。根据虚拟基准图像采集器的投影矩阵Mp，和视图矩阵Mv确定基准虚拟位置的世界坐标POS2＝Mv -1·Mp -1·V。
S320、将虚拟场景中虚拟基准图像采集器的位置和所述目标对象在虚拟场景的虚拟基准视角图像中的位置所属的直线确定为基准直线，其中，所述虚拟基准图像采集器和所述真实基准图像采集器的视角相同。
如图4所示，图4中的场景为虚拟场景，POS1点为虚拟基准图像采集器位置，目标对象在基准虚拟视角图像中的位置为POS2点，将POS1点和POS2点所属的直线确定为基准直线。
S330、将所述基准直线与虚拟场景中地面的交点确定为目标对象在虚拟场景中的虚拟位置。
具体的，在虚拟场景中确定地面的位置，基准直线无限延长与虚拟场景中的地面相交，交点即为目标对象在虚拟场景中的虚拟位置，即图4中的POS3点。虚拟位置为目标对象在虚拟场景下的绝对坐标点，不会根据虚拟图像采集器的视角变化而变化，因此可以根据虚拟位置进一步确定目标对象在虚拟场景中目标虚拟视角图像中的具体的目标虚拟位置，从而进一步确定目标对象在真实目标视角图像中的图像区域。
S340、将所述目标对象在虚拟场景中的虚拟位置和虚拟场景中虚拟目标图像采集器位置所属的直线确定为目标直线，其中，所述虚拟目标图像采集器和所述真实目标图像采集器的视角相同。
如图5所示，虚拟场景中虚拟目标图像采集器位置为图5中对应的点POS1’，将点POS1’与点POS3所属的直线确定为目标直线。
S350、将所述目标直线与虚拟场景中目标虚拟图像采集器的成像平面的交点，确定为所述目标对象在虚拟场景的虚拟目标视角图像中的位置。
其中，所述虚拟目标图像采集器的成像平面的具体位置可以由技术人员进行设定，例如，根据虚拟基准图像采集器POS1点与目标对象在基准虚拟视角图像中的位置POS2点之间的距离D1，以及，虚拟基准图像采集器POS1点与虚拟位置POS3点之间的距离D2，确定D1和D2之间的比例关系D1/D2，按照该比例关系确定虚拟目标图像采集器的成像平面，即设置虚拟目标图像采集器的成像平面，以使虚拟目标图像采集器与虚拟目标图像采集器的成像平面中一点的距离D3，以及，虚拟目标图像采集器与虚拟位置之间的距离D4之间的比例关系为D1/D2，从而确定虚拟目标图像采集器与虚拟目标图像采集器的成像平面的具体位置。将目标直线与虚拟目标图像采集器的成像平面的交点确定为目标对象在目标虚拟视角图像中的目标虚拟位置，即点POS2’。
S360、根据所述目标对象在虚拟场景的虚拟目标视角图像中的位置和真实场景与虚拟场景之间的空间转换信息，确定所述目标对象在所述真实目标视角图像中的位置。
具体的，根据S310中所述的真实场景与虚拟场景中的空间转换信息，进行矩阵转换反向变换，从而根据POS2’点的三维世界坐标，变换得到目标对象在真实目标视角图像中的位置，即比例坐标。
示例性的，即通过视图矩阵矩阵Mv和投影矩阵Mp，得到摄像机坐标系下的三维坐标V，
V＝Mv·Mp·POS2’
通过三维坐标V，得到POS2’坐标(Xb’,Yb’)，再通过比例换算即得到目标对象在真实基准视角图像中的位置为(Xb,Yb)＝(W*Xb’/W’，H*Yb’/H’)
需要说明的是，本发明实施例中以图4中虚拟目标图像采集器位置为POS1’的情况进行说明，并不是对技术方案应用场景的限定，本发明实施例的方案同样适用于虚拟目标图像采集器位置为POS1”的情况，以及虚拟目标图像采集器视角为除虚拟基准图像采集器视角以外的其他视角时的情况。
S370、根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像。
S380、将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
本发明实施例的技术方案，通过真实场景与虚拟场景之间的坐标转换关系，从而根据目标对象在真实基准视角图像中的位置得到目标对象虚拟场景下的虚拟位置，再进一步得到目标对象在真实目标视角图像中的位置，通过准确的位置信息转换从而精确地获取目标对象在真实场景下目标视角图像的位置，通过位置定量的计算，从而精确地得到目标对象在真实场景下目标视角图像中的具体位置，从而更精确、针对性地划分出目标对象在真实目标视角图像中的图像区域。
图7为本发明再一实施例提供的一种跨镜追踪方法的流程图。本实施例在上述实施例的基础上进行了优化，未在本实施例中详细描述的细节详见上述实施例。参见图7，本实施例提供的跨镜追踪方法可以包括：
S401、确定目标对象在真实基准视角图像中的图像区域，并从所述图像区域中选择目标点。
其中所述基准视角图像是真实基准图像采集器在真实场景中采集到的。
具体的，在跨镜追踪技术中，需要对具体的目标对象进行追踪，因此需要在基准视角图像中确定目标对象。确定目标对象在真实场景下基准视角图像中的图像区域，进一步从图像区域中选择目标点，所述目标点可以为图像区域的中心点，也可以为图像区域的最低点，以便于选取和追踪。根据所述目标对象在所述真实基准视角图像中的位置，以及第一预设位置范围阈值，确定所述目标对象在所述真实基准视角图像中的图像区域，作为基准视角样本图像
可选的，确定目标对象在真实场景下基准视角图像中的图像区域，并从所述图像区域中选择目标点之前，还包括：获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像。
具体的，在利用跨镜追踪技术进行跨镜追踪时，本发明实施例中的跨镜追踪设备可以自动获取真实场景下真实基准视角图像和真实目标视角图像，而不需要人工获取，提高了处理效率，获取所选取的目标对象在真实场景下真实基准视角图像和真实目标视角图像，从而将图像范围缩小至目标对象，从而进行针对性地追踪。
S402、根据所述目标点与真实基准视角图像边界的距离，确定所述目标点在所述真实基准视角图像中的位置，作为所述目标对象在在真实基准视角图像中的位置。
具体的，确定目标点与真实基准视角图像边界的距离，以此确定目标点在真实基准视角图像中的位置，示例性的，当真实基准视角图像为矩形图像时，确定目标点到真实基准视角图像左边界的距离a，目标点到真实基准视角图像上边界的距离b，真实基准视角图像的长为L，高为H，以a/L，和b/H作为目标对象在真实基准视角图像中的位置。
S403、根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息以及虚拟场景中的虚拟基准图像采集器位置，确定所述目标对象在虚拟场景中的虚拟位置。
S404、根据所述目标对象在虚拟场景中的位置，以及虚拟场景中虚拟目标图像采集器位置，确定所述目标对象在虚拟场景的虚拟目标视角图像中的位置；
S405、根据所述目标对象在虚拟场景的虚拟目标视角图像中的位置和真实场景与虚拟场景之间的空间转换信息，确定所述目标对象在所述真实目标视角图像中的位置。
S406、根据所述目标对象在所述真实目标视角图像中的位置，以及第一预设位置范围阈值，确定所述目标对象在所述真实目标视角图像中的图像区域，作为目标视角样本图像。
S407、根据所述目标对象在所述真实基准视角图像中的位置，以及第二预设位置范围阈值，确定所述目标对象在所述真实基准视角图像中的图像区域，作为基准视角样本图像。
S408、确定所述基准视角样本图像和所述目标视角样本图像之间的相似度值。
具体的，很多情况下，由于图像视角不同，目标对象的图像会存在被其他图像遮挡，可能会存在根据位置确定的并不是目标对象的图像的情况，因此，在本发明实施例中，确定所述基准视角样本图像和所述目标视角样本图像之间的相似度值，示例性的，基于结构相似度计算、余弦相似度计算、直方图相似度计算、特征点相似度计算等方法，确定两幅图像的相似度。通过相似度值以确定基准视角样本图像和目标视角样本图像的相符程度，从而确定其是否为同一目标对象所对应的不同视角图像。
S409、若相似度值大于第一相似度阈值，则将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像。
其中，所述预设相似度阈值由技术人员根据实际情况进行设定，若相似度值大于第一预设相似度阈值，则说明基准视角样本图像和目标视角样本图像为同一目标对象所对应的不同视角图像，则将基准视角样本图像和目标视角样本图像作为同一目标对象的样本图像。
S410、将所述样本图像输入跨镜追踪模型，通过调整参数使跨镜追踪模型输出的样本相似度值大于第二相似度阈值。
具体的，由于输入的样本图像的相似度满足同一个目标对象图像的相似度要求，因此，可以确定其为同一个目标对象的不同视角图像，将样本图像输入至跨镜追踪模型中，若跨镜追踪输出的样本图像的相似度低于第二相似度阈值，则说明跨镜追踪模型的识别率较低，因此调整跨镜追踪模型中的参数，以使经跨镜追踪模型确定的样本图像的相似度值大于第二预设相似度阈值，以提高跨镜追踪模型的识别率。可选的，所述第二相似度阈值可以等于或大于第一相似度阈值，从而提高跨镜追踪模型的识别准确性。
可选的，在调整跨镜追踪模型的参数提高跨镜追踪的识别率之后，可以继续利用跨镜追踪模型对目标对象进行追踪，以获取其他视角的图像采集器获取的包含目标对象的视角图像。进一步从视角图像中确定真实基准视角图像，根据本发明实施例的方案根据目标对象在真实基准视角中的位置确定目标对象在真实目标视角图像中的位置，以确定目标对象在真实场景的样本图像，作为训练样本对跨镜追踪模型进行优化，实现跨镜追踪模型的自学习过程，不断提高跨镜追踪模型的识别率。
本发明实施例的技术方案，通过目标点的确定和位置的确定，从而精准地确定目标对象的具体位置，便于确定目标对象在真实目标视角图像中的图像区域。通过确定所述基准视角样本图像和所述目标视角样本图像作的相似度值，并根据相似度值确定样本图像，并作为训练样本，进一步得到准确的跨镜追踪模型，从而实现对待追踪模型的优化，提高跨镜追踪模型的识别率。
图8为本发明一种实施例提供的一种跨镜追踪装置结构示意图。该装置适用于在根据跨镜追踪技术中，确定目标对象多角度图像的情况，该装置可以由软件和/或硬件的方式实现，该装置可以集成在设备中。参见图8，该装置具体包括：
图像获取模块510，用于获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
目标视角图像位置确定模块520，用于根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
样本图像确定模块530，用于根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
模型优化模块540，用于将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
可选的，所述目标视角图像位置确定模块520，包括：
虚拟位置确定单元，用于根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息以及虚拟场景中的虚拟基准图像采集器位置，确定所述目标对象在虚拟场景中的虚拟位置；
虚拟目标位置确定单元，用于根据所述目标对象在虚拟场景中的虚拟位置，以及虚拟场景中虚拟目标图像采集器位置，确定所述目标对象在虚拟场景的虚拟目标视角图像中的位置；
真实目标位置确定单元，用于根据所述目标对象在虚拟场景的虚拟目标视角图像中的位置和真实场景与虚拟场景之间的空间转换信息，确定所述目标对象在所述真实目标视角图像中的位置。
可选的，所述虚拟位置确定单元，包括：
虚拟基准位置确定子单元，用于根据目标对象在所述真实基准视角图像中的位置，以及真实场景与虚拟场景之间的空间转换信息，确定目标对象在虚拟场景的虚拟基准视角图像中的位置；
基准直线确定子单元，用于将虚拟场景中虚拟基准图像采集器的位置和所述目标对象在虚拟场景的虚拟基准视角图像中的位置所属的直线确定为基准直线，其中，所述虚拟基准图像采集器和所述真实基准图像采集器的视角相同；
基准直线交点确定子单元，用于将所述基准直线与虚拟场景中地面的交点确定为目标对象在虚拟场景中的虚拟位置。
可选的，所述虚拟目标位置确定单元，包括：
目标直线确定子单元，用于将所述目标对象在虚拟场景中的虚拟位置和虚拟场景中虚拟目标图像采集器位置所属的直线确定为目标直线，其中，所述虚拟目标图像采集器和所述真实目标图像采集器的视角相同；
成像交点确定子单元，用于将所述目标直线与虚拟场景中虚拟目标图像采集器的成像平面的交点，确定为所述目标对象在虚拟场景的虚拟目标视角图像中的位置。
可选的，所述样本图像确定模块530，包括：
基准视角样本图像确定单元，用于根据所述目标对象在所述真实基准视角图像中的位置，以及第一预设位置范围阈值，确定所述目标对象在所述真实基准视角图像中的图像区域，作为基准视角样本图像；
目标视角样本图像确定单元，用于根据所述目标对象在所述真实目标视角图像中的位置，以及第二预设位置范围阈值，确定所述目标对象在所述真实目标视角图像中的图像区域，作为目标视角样本图像；
目标对象样本确定单元，用于将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像。
可选的，所述目标对象样本确定单元，包括：
相似度确定子单元，用于确定所述基准视角样本图像和所述目标视角样本图像之间的相似度值；
样本确定子单元，用于若相似度值大于第一相似度阈值，则将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像。
可选的，所述模型优化模块540，具体用于：
将所述样本图像输入跨镜追踪模型，通过调整参数使跨镜追踪模型输出的样本相似度值大于第二相似度阈值。
本发明实施例的技术方案，图像获取模块获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像；目标视角图像位置确定模块根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；样本图像确定模块根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；模型优化模块将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。通过真实场景和虚拟场景之间精确地位置数据转换，自动获取不同视角下的目标对象的图像，不需要进行人工标注和采集，提高了跨镜追踪的效率和准确性。
图9为本发明一种实施例提供的一种设备的结构示意图。图9示出了适于用来实现本发明实施例的示例性设备612的框图。图9显示的设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图9所示，设备612包括：一个或多个处理器616；存储器628，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器616执行，使得所述一个或多个处理器616实现本发明实施例所提供的跨镜追踪方法，包括：
获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
以通用设备的形式表现。设备612的组件可以包括但不限于：一个或者多个处理器或者处理器616，系统存储器628，连接不同系统组件(包括系统存储器628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备612典型地包括多种计算机系统可读存储介质。这些存储介质可以是任何能够被设备612访问的可用存储介质，包括易失性和非易失性存储介质，可移动的和不可移动的存储介质。
系统存储器628可以包括易失性存储器形式的计算机系统可读存储介质，例如随机存取存储器(RAM)630和/或高速缓存存储器632。设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁存储介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光存储介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据存储介质接口与总线618相连。存储器628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块642的程序/实用工具640，可以存储在例如存储器628中，这样的程序模块662包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块662通常执行本发明所描述的实施例中的功能和/或方法。
设备612也可以与一个或多个外部设备614(例如键盘、指向设备、显示器626等)通信，还可与一个或者多个使得用户能与该设备612交互的设备通信，和/或与使得该设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与设备612的其它模块通信。应当明白，尽管图9中未示出，可以结合设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在系统存储器628中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种跨镜追踪方法，包括：
获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
本发明一种实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种跨镜追踪方法：
获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的存储介质的任意组合。计算机可读存储介质可以是计算机可读信号存储介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明实施例中，计算机可读存储介质可以是任何包含或存储程序的有形存储介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号存储介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的存储介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种跨镜追踪方法，其特征在于，所述方法包括：
获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型；
所述根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像，包括：
根据所述目标对象在所述真实基准视角图像中的位置，以及第一预设位置范围阈值，确定所述目标对象在所述真实基准视角图像中的图像区域，作为基准视角样本图像；
根据所述目标对象在所述真实目标视角图像中的位置，以及第二预设位置范围阈值，确定所述目标对象在所述真实目标视角图像中的图像区域，作为目标视角样本图像；
将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像。
2.根据权利要求1所述的方法，其特征在于，根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置，包括：
根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息以及虚拟场景中的虚拟基准图像采集器位置，确定所述目标对象在虚拟场景中的虚拟位置；
根据所述目标对象在虚拟场景中的虚拟位置，以及虚拟场景中虚拟目标图像采集器位置，确定所述目标对象在虚拟场景的虚拟目标视角图像中的位置；
根据所述目标对象在虚拟场景的虚拟目标视角图像中的位置和真实场景与虚拟场景之间的空间转换信息，确定所述目标对象在所述真实目标视角图像中的位置。
3.根据权利要求2所述的方法，其特征在于，根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息以及虚拟场景中的虚拟基准图像采集器位置，确定所述目标对象在虚拟场景中的虚拟位置，包括：
根据目标对象在所述真实基准视角图像中的位置，以及真实场景与虚拟场景之间的空间转换信息，确定目标对象在虚拟场景的虚拟基准视角图像中的位置；
将虚拟场景中虚拟基准图像采集器的位置和所述目标对象在虚拟场景的虚拟基准视角图像中的位置所属的直线确定为基准直线，其中，所述虚拟基准图像采集器和所述真实基准图像采集器的视角相同；
将所述基准直线与虚拟场景中地面的交点确定为目标对象在虚拟场景中的虚拟位置。
4.根据权利要求2所述的方法，其特征在于，根据所述目标对象在虚拟场景中的虚拟位置，以及虚拟场景中虚拟目标图像采集器位置，确定所述目标对象在虚拟场景的虚拟目标视角图像中的位置，包括：
将所述目标对象在虚拟场景中的虚拟位置和虚拟场景中虚拟目标图像采集器位置所属的直线确定为目标直线，其中，所述虚拟目标图像采集器和所述真实目标图像采集器的视角相同；
将所述目标直线与虚拟场景中虚拟目标图像采集器的成像平面的交点，确定为所述目标对象在虚拟场景的虚拟目标视角图像中的位置。
5.根据权利要求1所述的方法，其特征在于，将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像，包括：
确定所述基准视角样本图像和所述目标视角样本图像之间的相似度值；
若相似度值大于第一相似度阈值，则将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像。
6.根据权利要求1-5任一所述的方法，其特征在于，将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，包括：
将所述样本图像输入跨镜追踪模型，通过调整参数使跨镜追踪模型输出的样本相似度值大于第二相似度阈值。
7.一种跨境追踪装置，其特征在于，所述装置包括：
图像获取模块，用于获取真实场景中的真实基准图像采集器采集的真实基准视角图像，以及真实场景中的真实目标图像采集器采集的真实目标视角图像，其中，所述真实基准图像采集器和所述真实目标图像采集器的视角不同；
目标视角图像位置确定模块，用于根据目标对象在所述真实基准视角图像中的位置，真实场景与虚拟场景之间的空间转换信息，虚拟场景中虚拟基准图像采集器的位置，以及虚拟场景中虚拟目标图像采集器的位置，确定所述目标对象在所述真实目标视角图像中的位置；
样本图像确定模块，用于根据所述目标对象在所述真实基准视角图像中的位置，所述目标对象在所述真实目标视角图像中的位置，所述真实基准视角图像以及所述真实目标视角图像，确定目标对象在真实场景中的样本图像；
所述样本图像确定模块，包括：
基准视角样本图像确定单元，用于根据所述目标对象在所述真实基准视角图像中的位置，以及第一预设位置范围阈值，确定所述目标对象在所述真实基准视角图像中的图像区域，作为基准视角样本图像；
目标视角样本图像确定单元，用于根据所述目标对象在所述真实目标视角图像中的位置，以及第二预设位置范围阈值，确定所述目标对象在所述真实目标视角图像中的图像区域，作为目标视角样本图像；
目标对象样本确定单元，用于将所述基准视角样本图像和所述目标视角样本图像作为目标对象在真实场景中的样本图像；
模型优化模块，用于将所述样本图像作为训练样本，通过调整参数对跨镜追踪模型进行优化，其中，所述跨镜追踪模型为预先构建的用于对待追踪对象进行追踪的模型。
8.一种电子设备，其特征在于，所述设备包括：一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的一种跨镜追踪方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的一种跨镜追踪方法。
CN201910619815.0A 2019-07-10 2019-07-10 跨镜追踪方法、装置、设备及存储介质 Active CN112215036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910619815.0A CN112215036B (zh) 2019-07-10 2019-07-10 跨镜追踪方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910619815.0A CN112215036B (zh) 2019-07-10 2019-07-10 跨镜追踪方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112215036A CN112215036A (zh) 2021-01-12
CN112215036B true CN112215036B (zh) 2024-02-09

Family

ID=74048097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910619815.0A Active CN112215036B (zh) 2019-07-10 2019-07-10 跨镜追踪方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112215036B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888705B (zh) * 2021-12-06 2022-04-12 之江实验室 目标场景仿真模型构建方法、数据集生成方法及电子设备
CN114398132B (zh) * 2022-01-14 2024-05-10 北京字跳网络技术有限公司 一种场景数据展示方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021018A1 (en) * 2017-07-27 2019-01-31 Mo-Sys Engineering Limited POSITIONING SYSTEM
WO2019121654A1 (en) * 2017-12-22 2019-06-27 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013074997A1 (en) * 2011-11-18 2013-05-23 Infinite Z, Inc. Indirect 3d scene positioning control

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019021018A1 (en) * 2017-07-27 2019-01-31 Mo-Sys Engineering Limited POSITIONING SYSTEM
WO2019121654A1 (en) * 2017-12-22 2019-06-27 Nokia Technologies Oy Methods, apparatus, systems, computer programs for enabling mediated reality

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
虚拟现实中的实景视频切换技术研究;邵刚;屈保平;曹鹏;刘明智;;《微处理机》(第05期);第53-56页 *

Also Published As

Publication number Publication date
CN112215036A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN109242903B (zh) 三维数据的生成方法、装置、设备及存储介质
CN108986161B (zh) 一种三维空间坐标估计方法、装置、终端和存储介质
CN109242913B (zh) 采集器相对参数的标定方法、装置、设备和介质
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
US10254845B2 (en) Hand gesture recognition for cursor control
CN111815707B (zh) 点云确定方法、点云筛选方法、装置、计算机设备
US11983898B2 (en) Monitoring method, electronic device and storage medium
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
CN111970454B (zh) 一种拍摄画面的展示方法、装置、设备及储存介质
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN112215036B (zh) 跨镜追踪方法、装置、设备及存储介质
CN116778094B (zh) 一种基于优选视角拍摄的建筑物变形监测方法及装置
CN112700486A (zh) 对图像中路面车道线的深度进行估计的方法及装置
CN114612575A (zh) 一种相机参数的标定、三维数据生成方法和系统
CN113763478A (zh) 无人车相机标定方法、装置、设备、存储介质及系统
WO2022247126A1 (zh) 视觉定位方法、装置、设备、介质及程序
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
CN111259702B (zh) 一种用户兴趣的估计方法及装置
CN111951328A (zh) 一种物体位置检测方法、装置、设备和存储介质
CN116883981A (zh) 一种车牌定位识别方法、系统、计算机设备及存储介质
CN116912517A (zh) 相机视野边界的检测方法及装置
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
CN113763468B (zh) 一种定位方法、装置、系统及存储介质
CN113038070B (zh) 一种设备调焦方法、装置和云平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant