CN112686178A - 一种多视角目标轨迹生成方法、装置和电子设备 - Google Patents

Abstract

本公开提供一种多视角目标轨迹生成方法、装置和电子设备，方法包括：获取多个不同视角的待识别视频；获取多个不同视角的待识别视频；检测识别多个不同视角的待识别视频中的所有目标；获取所有多个不同视角的待识别视频中同一目标的运动轨迹点；将每个运动轨迹点进行三维转换，以将多个不同视角的待识别视频中所有同一目标的运动轨迹点映射到现实空间，得到对应的三维运动轨迹点；对所有三维运动轨迹点进行拟合，得到同一目标的运动轨迹。本公开的一种多视角目标轨迹生成方法、装置和电子设备，全面检测到目标出现的视角和时间，提高了生成的运动轨迹的精确度和全面性，实现了基于多路摄像头采集的目标在同一地图下生成运动轨迹，实现了跨镜跟踪。

Description

一种多视角目标轨迹生成方法、装置和电子设备

技术领域

本公开属于电子信息技术领域，具体涉及一种多视角目标轨迹生成方法、装置和电子设备。

背景技术

智能安防是实现智慧城市的重要基础，并且智能安防管理中每天产生的视频数据占据城市数据的很大比重。面对大量的视频数据，仅依靠传统的人工手段无法做到快速、高效的分析和处理，因此需要将计算机视觉以及最新的计算机技术应用于其中，以实现高效、准确的视频分析。

目标跨场景识别技术(也可以称作多视角目标识别)是视频分析研究的关键组成部分，目的是对出现在监控区域内的某个目标，在监控网络的其他摄像头监控视频中找到目标并标识出来。配合目标检测与跟踪技术可以实现对监控网络范围内的目标进行跨摄像头区域的持续跟踪。当目标出现在某一监控摄像头的监控范围内时，摄像头拍摄的目标图像会与其他摄像头拍摄的目标图像进行一一匹配，寻找出同属于同一目标的图像，从而进行跨场景的搜索与跟踪。

轨迹生成是基于目标检测与识别技术，对监控系统中多路摄像头中同一目标的运动轨迹进行跟踪，并根据摄像头与地图的映射关系，对目标在地图上的位置坐标进行定位。传统的目标跨场景识别技术中，通常仅能实现跨场景目标识别，而不能实现跨场景的轨迹跟踪，不能有效的利用跨场景视频更好地实现对目标的监控，无法实现对目标的跨镜追踪。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提供一种多视角目标轨迹生成方法、装置和电子设备。

本公开的一个方面提供一种种多视角目标轨迹生成方法，所述方法包括：

S100：获取多个不同视角的待识别视频；

S200：检测识别所述多个不同视角的待识别视频中的所有目标；

S300：获取所有所述多个不同视角的待识别视频中同一目标的运动轨迹点；

S400：将每个所述运动轨迹点进行三维转换，以将所述多个不同视角的待识别视频中所有所述同一目标的所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点；

S500：对所有所述三维运动轨迹点进行拟合，得到所述同一目标的运动轨迹；

S600：重复执行步骤S300至S500，直至得到所述所有目标的运动轨迹。

可选的，所述检测识别所述多个不同视角的待识别视频中的所有目标，包括：

抽取每个视角的所述待识别视频的关键帧，以得到每个所述待识别视频的待识别图像；

检测每个所述待识别图像中的目标，以得到检测目标；

对所述检测目标进行特征提取，以得到所述检测目标的特征；

建立目标特征库，所述目标特征库中预存储至少一个标准目标的至少一个标准特征；

比较所述多个不同视角的待识别图像中所述检测目标的特征与所述目标特征库中每个所述标准目标的标准特征，得到所述检测目标与所述目标特征库中每个所述标准目标的特征相似度，根据所述特征相似度得到所述检测目标的身份信息；

比较身份信息相同的检测目标的特征相似度，根据比较结果更新所述目标特征库中对应的标准目标的标准特征，以动态更新所述目标特征库；

根据所述动态更新后的目标特征库识别所述多个不同视角的待识别视频中的目标。

可选的，所述对所述检测目标进行特征提取，以得到所述检测目标的特征，包括：

对每个所述待识别图像中的每个所述检测目标进行人脸检测，若检测到人脸，则提取人脸特征，将所述人脸特征作为所述检测目标的特征；若不能检测到人脸，则对所述检测目标进行行人特征提取，若能提取到行人特征，则将所述行人特征作为所述检测目标的特征。

可选的，所述比较所述多个不同视角的待识别图像中所述检测目标的特征与所述目标特征库中每个所述标准目标的标准特征，得到所述检测目标与所述目标特征库中每个所述标准目标的特征相似度，根据所述特征相似度得到所述检测目标的身份信息，包括：

获取所述检测目标最大的特征相似度；

将所述检测目标最大的特征相似度与预设的相似度阈值进行比较；

若所述检测目标最大的特征相似度大于预设的相似度阈值，则将所述最大的特征相似度对应的标准目标的身份信息作为所述检测目标的身份信息；

若所述检测目标最大的特征相似度小于等于预设的相似度阈值，则将所述检测目标作为新的标准目标存储至所述目标特征库，将所述检测目标最大的特征相似度对应的特征作为对应的新的标准特征存储至所述目标特征库，所述目标特征库根据所述新的标准目标生成一个新的身份信息，将所述新的身份信息作为所述检测目标的身份信息。

可选的，所述比较身份信息相同的检测目标的特征相似度，根据比较结果更新所述目标特征库中对应的标准目标的标准特征，以动态更新所述目标特征库，包括：

所述目标特征库中预存储的标准特征包括标准人脸特征和标准行人特征；

若所述身份信息相同的检测目标有多个，则获取所述身份信息相同的多个检测目标的特征相似度；

若所述身份信息相同的多个检测目标的特征包括人脸特征，则比较所述多个检测目标的人脸特征对应的特征相似度，使用特征相似度高的人脸特征更新所述目标特征库中对应的标准目标的标准人脸特征；

若所述身份信息相同的多个检测目标的特征包括行人特征，则比较所述多个检测目标的行人特征对应的特征相似度，使用特征相似度高的行人特征更新所述目标特征库中对应的标准目标的标准行人特征。

可选的，所述获取所有所述多个不同视角待识别视频中同一目标的运动轨迹点，包括：

比较所述多个不同视角的待识别视频中的所有目标在每个对应的图像帧以及其前后时序的图像帧中的跟踪特征，根据比较结果判断所述目标与所述对应的图像帧前后时序的图像帧中的目标是否为同一目标；

若为同一目标，则获取所述对应的图像帧以及其前后时序的图像帧中的目标位置信息，以得到所述选取的目标的运动轨迹点。

可选的，所述比较所述多个不同视角的待识别视频中的所有目标在每个对应的图像帧以及其前后时序的图像帧中的跟踪特征，根据比较结果判断所述目标与所述对应的图像帧前后时序的图像帧中的目标是否为同一目标，包括：

获取所述目标在所述对应的图像帧以及其前后时序的图像帧中的中心位置和外观特征；

比较所述目标在所述对应的图像帧以及其前后时序的图像帧中的中心位置变化率；

比较所述目标在所述对应的图像帧以及其前后时序的图像帧中的外观特征相似度；

根据所述中心位置变化率和所述外观特征相似度的比较结果判断所述选取的目标与所述对应的图像帧前后时序的图像帧中的目标是否为同一目标。

可选的，所述将每个所述运动轨迹点进行三维转换，以将所述多个不同视角的待识别视频中所有所述同一目标的所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点，包括：

根据所述多个不同视角的待识别视频得到图像参考点；

根据所述图像参考点的图像像素坐标与现实空间坐标的映射，得到图像坐标信息与现实空间的转换关系；

根据所述图像坐标信息与现实空间的转换关系将所述同一目标的每个所述运动轨迹点进行三维转换，以将所述同一目标的每个所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点。

本公开的另一个方面，提供一种多视角目标轨迹生成装置，所述装置包括：

视频获取模块，用于获取多个不同视角的待识别视频；

识别模块，用于检测识别所述多个不同视角的待识别视频中的所有目标；

运动轨迹点获取模块，用于获取所有所述多个不同视角待识别视频中同一目标的运动轨迹点；

三维转换模块，用于将每个所述运动轨迹点进行三维转换，以将所述多个不同视角的待识别视频中所有所述同一目标的所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点；

拟合模块，用于对所有所述三维运动轨迹点进行拟合，得到所述同一目标的运动轨迹。

本公开的另一个方面，提供一种电子设备，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现前文阐述的方法。

本公开实施例的一种多视角目标轨迹生成方法、装置和电子设备中，通过多个不同视角的待识别视频来实现获取同一目标在不同场景下的图像信息，再通过拟合选取的目标在所有视角的待识别视频中的所有时序图像帧中出现过的像素坐标，使得该拟合得到的运动轨迹包含了该目标在多视角下的运动轨迹点，从而更全面的体现了该目标的运动踪迹，更全面的检测到目标出现过的视角和时间，提高了生成的运动轨迹的精确度和全面性，实现了基于多路摄像头采集的目标信息在同一地图下生成运动轨迹，实现对目标的跨镜追踪，目标跨场景识别与轨迹跟踪技术的应用可以减少大量视频监控人员的工作量，实现监控视频中目标行人的准确分析，有效地预防和打击犯罪行为。

附图说明

图1为用于实现根据本公开一实施例的一种多视角目标轨迹生成方法和装置的示例电子设备的示意性框图；

图2为本公开另一实施例的一种多视角目标轨迹生成方法的流程示意图；

图3为本公开另一实施例的一种多视角目标轨迹生成装置的结构示意图；

图4为本公开另一实施例的一种多视角目标轨迹生成方法的中心透视投影法的原理图。

具体实施方式

为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开作进一步详细描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外具体说明，本公开中使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“包括”或者“包含”等既不限定所提及的形状、数字、步骤、动作、操作、构件、原件和/或它们的组，也不排除出现或加入一个或多个其他不同的形状、数字、步骤、动作、操作、构件、原件和/或它们的组，或加入这些。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量与顺序。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在发明的一些描述中，除非另有明确的规定和限定，术语“安装”、“连接”、“相连”或者“固定”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是通过中间媒体间接连接，可以是两个元件内部的连通或者两个元件的互相作用关系。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对设置、数字表达式和数值不限制本公开的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的，对于相关领域普通技术人员已知的技术，方法和设备可能不作详细讨论，但在适当情况下，所示技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体的其他示例可以具有不同的值。应注意到：相似的符号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进一步讨论。

在更加详细地讨论之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

首先，参照图1来描述用于实现本公开实施例的一种多视角目标轨迹生成方法和装置的示例电子设备。

如图1所示，电子设备200包括一个或多个处理器210、一个或多个存储装置220、输入装置230、输出装置240等，这些组件通过总线系统和/或其他形式的连接机构250互连。应当注意，图1所示的电子设备的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器210可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制所述电子设备中的其他组件以执行期望的功能。

所述存储装置220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行所述程序指令，以实现下文所述的本公开实施例中(由处理器实现)的客户端功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如，所述应用程序使用和/或产生的各种数据等。

所述输入装置230可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置240可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

示例性地，用于实现根据本公开实施例的一种多视角目标轨迹生成方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑。

下面，将参考图2描述根据本公开实施例的一种多视角目标轨迹生成方，包括：

S100：获取多个不同视角的待识别视频。

具体地，在本步骤中，可以通过多个不同拍摄角度的监控摄像头获取不同场景的监控视频，每个场景对应一个视角，从而实现了获取多个具有不同视角的待识别视频。

S200：检测识别多个不同视角的待识别视频中的所有目标。

具体地，在本步骤中，分别检测每个待识别视频中的目标，示例性的，目标可以为人，也可以为车辆等，可根据实际情况使用不同的目标检测方法选择性的检测识别不同的目标，例如使用车辆检测方法仅检测车辆目标，示例性的，目标可以为一个或多个，也就是说，每个待识别视频中的每帧图像中都可以根据实际的检测情况，而检测得到一个或多个目标。

S300：获取所有多个不同视角的待识别视频中同一目标的运动轨迹点。

具体地，在本步骤中，若步骤S200中只检测到一个目标，则本步骤中获取所有视角的待识别视频中该目标的运动轨迹点，若步骤S200中检测到多个目标，则本步骤中选择一个目标，获取所有视角的待识别视频中该目标的运动轨迹点，示例性的，本步骤选择一个目标，可通过算法自动选取，也可以通过外部设备人工选取，示例性的，针对识别到多个目标的情况，可任意选取一个目标，也可根据实际的使用需求选择性的选取一个目标，例如，算法根据预设的选取条件自动选择一个需要重点关注和跟踪的目标，或者，可通过输入需要选取的目标的名称、身份编号等信息来选取目标，也可通过在待识别视频中点击需要选取的目标来进行选取，示例性的，运动轨迹点为目标在视频中的图像像素坐标，例如，可使用Center-net或Deep-sort算法来获取目标在不同帧的待识别图像中的图像像素坐标，以获取到目标在所有不同视角视频不同时序图像帧中的运动轨迹点，也就是目标在所有待识别视频中所有出现过的运动轨迹点，从而更全面的检测到目标出现过的视角和时间，提高后续生成运动轨迹的精确度和全面性，

示例性的，可使用目标跟踪算法来判断所有视角的待识别视频中的多个目标是否为同一目标，以便于后续针对同一目标获取运动轨迹点，本领域技术人员可根据实际的使用需求选择不同的目标跟踪算法，例如Deep-Sort目标跟踪算法，Deep-sort在Sort算法的基础上，优化了基于匈牙利算法中的代价矩阵，在IOU Match之前做了一次额外的级联匹配，利用外观特征和马氏距离，获得更好的跟踪效果。Deep-sort中引入的外观特征是通过一个类似行人重识别的特征提取网络提取的，提取特征的过程和NLP里词向量的嵌入过程(embedding)类似。此外，在特征相似度计算中采用了多种度量方式的结合，由于欧氏距离容易忽略空间域分布的计算结果，所以增加了马氏距离作为运动信息的约束，可以更好的提升跟踪的效果。

S400：将每个运动轨迹点进行三维转换，以将多个不同视角的待识别视频中所有同一目标的运动轨迹点映射到现实空间，得到对应的三维运动轨迹点。

具体地，在本步骤中，将步骤S300中获取到的所有运动轨迹点进行三维转换，以将其转换映射到现实空间，示例性的，现实空间为三维地图空间，也就是可体现三维运动轨迹的地图空间，示例性的，可通过建模获取该现实空间，本领域技术人员可根据实际使用情况选取不同的构建现实空间的方法，本实施例中不进行具体限制。

S500：对所有三维运动轨迹点进行拟合，得到同一目标的运动轨迹。

具体地，在本步骤中，在现实空间中对所有三维运动轨迹点进行关联、拟合，从而在现实空间中得到一条三维运动轨迹拟合曲线，也就是得到了步骤S300中选取的目标的运动轨迹，该运动轨迹由于拟合了该选取的目标在所有视角的待识别视频中的所有时序图像帧中出现过的像素坐标，因此，从多视角体现了该选取目标的运动轨迹，示例性的，本领域技术人员可选取不同的拟合方法，本实施例中不进行具体限制。

S600：重复执行步骤S300至S500，直至得到所有目标的运动轨迹。

具体地，在本步骤中，通过重复执行步骤S300至S500，完成对步骤S200中检测到的多个不同视角的待识别视频中的所有目标的运动轨迹的生成，需要说明的是，可以并行重复执行步骤S300至S500，也就是说，可以先生成一个目标的运动轨迹，再生成另一个目标的运动轨迹，也可以同时生成所有目标的运动轨迹，本实施例中不对其进行具体限制。

本公开实施例的一种多视角目标轨迹生成方法，通过多个不同视角的待识别视频来实现获取同一目标在不同场景下的图像信息，再通过拟合选取的目标在所有视角的待识别视频中的所有时序图像帧中出现过的像素坐标，使得该拟合得到的运动轨迹包含了该目标在多视角下的运动轨迹点，从而更全面的体现了该目标的运动踪迹，更全面的检测到目标出现过的视角和时间，提高了生成的运动轨迹的精确度和全面性，实现了基于多路摄像头采集的目标信息在同一地图下生成运动轨迹，也就是说，当目标在某区域内活动，可以根据该区域内不同摄像头下的目标信息，生成其在三维地图上的连续轨迹，完成对目标的跨场景轨迹跟踪、跨镜追踪，目标跨场景识别与轨迹跟踪技术的应用可以减少大量视频监控人员的工作量，实现监控视频中目标行人的准确分析，有效地预防和打击犯罪行为，此外，本实施例中的方法可通过并行执行来同时生成多个目标的运动轨迹，提高了目标轨迹生成的效率，提高了对目标的跨场景轨迹跟踪的效率。

下面将进一步阐述多视角目标轨迹生成方法中步骤S200的具体步骤。

示例性的，步骤S200检测识别多个不同视角的待识别视频中的所有目标，包括：

S210：抽取每个视角的待识别视频的关键帧，以得到每个待识别视频的待识别图像。

具体地，在本步骤中，使用关键帧抽取算法分别抽取每个视角的待识别视频的关键帧，通过抽取关键帧排除掉每个待识别视频中的冗余信息，提高后续目标识别的效率，本领域技术人员可根据实际使用需求选择不同的关键帧抽取算法，本实施例中不进行具体限制。

S220：检测每个待识别图像中的目标，以得到检测目标。

具体地，在本步骤中，使用目标检测算法分别检测每个待识别图像中的检测目标，示例性的，可使用Center-net目标检测算法，具体地，首先，利用左上角点和右下角点生成初始目标框，其次，根据预设的预测目标框条件设置每个初始目标框的中心区域，最后，判断每个初始目标框的中心区域是否含有目标中心点，若含有中心点，则将该含有目标中心点的初始边框作为预测目标框，否则，则删除该不含有目标中心点的初始目标框，示例性的，本领域技术人员可选择不同的方法检测目标中心点，也就是检测目标的中心位置坐标，本实施例中不进行具体限制，使用上述目标检测算法，如果初始目标框是准确的，那么在其中心区域能够检测到目标中心点的概率就会很高，反之亦然，因此，通过判断其中心区域是否可以检测到目标中心点来得到可以准确检测到目标的预测目标框，具有更高的识别精度与更快的检测速度，除此之外，本领域技术人员还可以根据实际的使用需求选择其他目标检测算法，例如Faster-RCNN目标检测算法、YOLO目标检测算法等，本实施例中不进行具体限制，需要说明的是，本步骤中每个待识别图像中可能检测到的检测目标可为一个或多个，具体根据实际目标检测算法检测出的结果来确定，而没有具体规定只能检测出几个目标。

S230：对检测目标进行特征提取，以得到检测目标的特征。

具体地，在本步骤中，对步骤S220中检测到的每个待识别图像中的每个检测目标进行特征提取，本领域技术人员可根据实际的使用需求选择不同的特征提取方法，例如需要识别出人脸，则使用人脸特征提取方法，若需要识别出车辆，则使用对应车辆的特征提取方法，本实施例中不进行具体限制，需要说明的是，若提取不到对应特征，则说明检测目标不是需要关注的对象，则在本步骤中放弃该检测目标，例如，需要识别出人脸，则针对车辆目标无法识别出人脸特征，则放弃对车辆目标的处理，在本步骤仅保留可以检测出人脸特征的检测目标。

S240：建立目标特征库，目标特征库中预存储至少一个标准目标的至少一个标准特征。

具体地，在本步骤中，预先构建目标特征库，目标特征库用于存储预设的标准目标以及标准目标对应的特征信息和身份信息，其中，标准目标的特征信息为标准特征，示例性的，目标特征库中预存的标准目标可为一个或多个，每个标准目标对应的标准特征可为一个或多个。

示例性的，可使用外部数据构建目标特征库，例如，使用身份证数据获取行人作为标准目标，行人的人脸特征作为标准特征，示例性的，也可在使用过程中不断更新目标特征库，例如，使用多个不同角度的待识别视频中检测出的行人目标作为标准目标，视频中检测出的行人的人脸特征或行人特征作为标准特征。

示例性的，目标特征库中预存储的标准目标的标准特征可为准确特征，也可为非准确特征，准确特征指的是通过准确信息获取的特征，例如通过身份证数据获取的人脸特征，非准确特征指的是通过非准确信息获取的特征，例如，通过检测视频中行人目标而得到的人脸特征，此时，由于检测算法和人脸特征提取算法可能出现不准确的情况，因此，得到的信息为非准确信息，示例性的，在构建目标特征库时，可使用标签的方式标记标准目标的标准特征为准确特征或非准确特征，示例性的，在后续的过程中，针对标签为准确特征的标准特征，可不更新该标准特征，针对标签为非准确特征的标准特征，可动态更新该标准特征。

需要说明的是，本步骤可在步骤S250前的任意顺序执行，例如先执行步骤S240，再执行步骤S210至步骤S230，或者先执行步骤S210至步骤S230，再执行步骤S240，只需保证在步骤S250前执行步骤S240即可，本领域技术人员可根据实际的使用需求条件步骤的执行顺序，本实施例中不进行具体限制。

S250：比较多个不同视角的待识别图像中检测目标的特征与目标特征库中每个标准目标的标准特征，得到检测目标与目标特征库中每个标准目标的特征相似度，根据特征相似度得到检测目标的身份信息。

具体地，在本步骤中，分别将步骤S220中检测到的每个检测目标与目标特征库中每个标准目标的标准特征进行比较，得到检测目标针对每个标准特征的特征相似度，若目标特征库中近有一个标准目标且其仅有一个标准特征，则只得到一个特征相似度，否则，则得到多个特征相似度，再根据得到的一个或多个特征相似度得到检测目标的身份信息。

S260：比较身份信息相同的检测目标的特征相似度，根据比较结果更新目标特征库中对应的标准目标的标准特征，以动态更新目标特征库。

具体地，由于步骤S250中已获取了每个检测目标的身份信息，因此，在本步骤中，首先，通过比较得到身份信息相同的检测目标，再分别获取身份信息相同的检测目标针对标准特征的特征相似度，若身份信息相同的检测目标仅有一个，则使用该检测目标的特征相似度更新目标特征库中对身份信息对应的标准目标的标准特征，若身份信息相同的检测目标有多个，则比较该多个检测目标的特征相似度，并根据比较结果更新目标特征库中对应的标准目标的标准特征，示例性的，可通过检测目标的特征的向量距离来获取检测目标的特征相似度，本领域技术人员也可使用其他方法获取特征相似度，本实施例中不进行具体限制。

S270：根据动态更新后的目标特征库识别多个不同视角的待识别视频中的目标。

具体地，由于步骤S260中更新了标准目标的标准特征，因此，在本步骤中，使用目标特征库中更新后的标准目标的标准特征识别多个不同视角的待识别视频中的，提高了目标识别的精确度。

示例性的，步骤S230对检测目标进行特征提取，以得到检测目标的特征，包括：

S231：对每个待识别图像中的每个检测目标进行人脸检测，若检测到人脸，则提取人脸特征，将人脸特征作为检测目标的特征；若不能检测到人脸，则对检测目标进行行人特征提取，若能提取到行人特征，则将行人特征作为检测目标的特征。

具体地，在本步骤中，首先对检测目标进行人脸检测，若无法检测到人脸，则再对其进行行人特征提取，使用这种方式进行人脸和行人融合检测，可以在人脸被遮挡、难以提取人脸特征的情况下，通过行人特征提取对检测目标中的行人与其他非人目标进行区分，避免了检测遗漏的情况。

示例性的，在进行人脸特征提取时，可使用一种基于半监督多任务学习的one-stage人脸检测算法-RetinaFace检测网络实现人脸目标检测，该检测网络能对遮挡人脸进行检测，且检测速度可以达到实时，在人脸检测多任务学习中，RetinaFace有四条平行的学习分支，第一条预测是否是人脸，第二条预测人脸框的偏移量，第三条预测人脸关键点的偏移量，第四条预测人脸的3d网格。

示例性的，在进行行人特征提取时，可使用一种基于ResNet网络的分类模型，该模型采用baseline网络-PCB，输入一张行人的图片，能得到由几个part级别的特征得到的综合描述子用于Re-ID任务的行人匹配，从而对目标的细节特征分别进行提取与比对，提升对目标识别的准确率。

示例性的，步骤S250比较多个不同视角的待识别图像中检测目标的特征与目标特征库中每个标准目标的标准特征，得到检测目标与目标特征库中每个标准目标的特征相似度，根据特征相似度得到检测目标的身份信息，包括：

S251：获取检测目标最大的特征相似度。

具体地，在本步骤中，分别将步骤S220中检测到的每个检测目标与目标特征库中每个标准目标的标准特征进行比较，得到检测目标针对每个标准特征的特征相似度，若目标特征库中近有一个标准目标且其仅有一个标准特征，则只得到一个特征相似度，则将该特征相似度作为最大的特征相似度，否则，则得到多个特征相似度，此时，比较该多个特征相似度的大小，得到最大的特征相似度。

S252：将检测目标最大的特征相似度与预设的相似度阈值进行比较。

具体地，在本步骤中，就步骤S251中得到的最大的特征相似度与预设的相似度阈值进行比较，示例性的，本领域技术人员可根据实际的使用情况设置不同的相似度阈值，本实施例中不进行具体限制例如70％、80％、90％等，相似度阈值越高，检测目标身份信息获取的准确度越高。

S253：根据比较结果得到检测目标的身份信息。

示例性的，若检测目标最大的特征相似度大于预设的相似度阈值，则代表目标特征库中具有与检测目标特征匹配度较高的标准目标，也就是检测目标可以从目标特征库中找到对应的标准目标，此时，该标准目标的身份信息也就是检测目标的身份信息，也就是将最大的特征相似度对应的标准目标的身份信息作为检测目标的身份信息。

示例性的，若检测目标最大的特征相似度小于等于预设的相似度阈值，则代表目标特征库中不具有与检测目标特征匹配度较高的标准目标，也就是检测目标不能从目标特征库中找到对应的标准目标，检测目标为目标特征库中未预存储的新的目标，此时，则根据该检测目标在目标特征库中构建一个新的标准目标，也就是，将检测目标作为新的标准目标存储至目标特征库，将检测目标最大的特征相似度对应的特征作为对应的新的标准特征存储至目标特征库，目标特征库根据新的标准目标生成一个新的身份信息，将新的身份信息作为检测目标的身份信息。

示例性的，若目标特征库中，标准目标X的标准人脸特征为Y，身份信息为001，标准目标J的标准人脸特征为K，身份信息为002，相似度阈值设置为70％，此时，在正面视角的待识别视频中的第一个关键帧中检测到检测目标A，检测目标A可识别出人脸特征，且其与标准人脸特征Y的相似度为90％，且其与标准人脸特征K的相似度为80％，则检测目标A最大的特征相似度为90％，大于预设的相似度阈值70％，则可判断其与标准目标X为同一目标，其身份信息与标准目标X的身份信息相同，也就是身份信息为001。

示例性的，步骤S260比较身份信息相同的检测目标的特征相似度，根据比较结果更新目标特征库中对应的标准目标的标准特征，以动态更新目标特征库，包括：

S261：目标特征库中预存储的标准特征包括标准人脸特征和标准行人特征。

示例性的，目标特征库为针对人体目标构建的目标特征库，其中存储的标准目标主要为人体目标，人体标准目标的标准特征包括用于表述人脸特征的标准人脸特征，以及用于表述人体身形特征和外观特征的标准行人特征，本领域技术人员还可以根据实际的使用情况设置其他用于表征人体的标准特征，本实施例中不进行具体限制。

S262：若身份信息相同的检测目标有多个，则获取身份信息相同的多个检测目标的特征相似度，再分别比较检测目标的人脸特征和目标特征库中标准目标的人脸特征、检测目标的行人特征和目标特征库中标准目标的行人特征，根据比较结果更新目标特征库中对应的标准目标的标准人脸特征和标准行人特征，以动态更新目标特征库。

示例性的，若身份信息相同的多个检测目标的特征包括人脸特征，则比较多个检测目标的人脸特征对应的特征相似度，使用特征相似度高的人脸特征更新目标特征库中对应的标准目标的标准人脸特征。

示例性的，若目标特征库中，标准目标X的标准人脸特征为Y，身份信息为001，相似度阈值设置为70％，此时，在正面视角的待识别视频中的第一个关键帧中检测到检测目标A，检测目标A通过步骤S250可获取身份信息001，且检测目标A的特征针对标准人脸特征Y的特征相似度为90％，在其后的时序中，在左侧面视角的待识别视频中的第二个关键帧中同样检测到检测目标B，检测目标B通过步骤S250也可获取身份信息001，且检测目标B的特征针对标准人脸特征Y的特征相似度为80％，此时，由于90％大于80％，因此，使用特征相似度高的人脸特征，也就是检测目标A的人脸特征替换目标特征库中标准目标X的标准人脸特征Y。

示例性的，若身份信息相同的多个检测目标的特征包括行人特征，则比较多个检测目标的行人特征对应的特征相似度，使用特征相似度高的行人特征更新目标特征库中对应的标准目标的标准行人特征。示例性的，行人特征的更新方法与人脸特征的更新方法相对应，此处不再赘述。

需要说明的是，若在构建目标特征库时，使用标签的方式标记标准目标的标准特征为准确特征或非准确特征，示例性的，在本步骤中，若标准人脸特征的标签为准确特征，则在本步骤中不更新目标特征库中的标准目标的标准人脸特征，若标准人脸特征的标签为非准确特征，则在本步骤中使用上述方法更新目标特征库中的标准目标的标准人脸特征，示例性的，不论标准行人特征的标签为准确特征或为非准确特征，在本步骤中，均使用上述方法更新目标特征库中的标准目标的标准行人特征，这主要是因为针对人脸特征，可通过身份证数据等准确的数据获取，且该数据不会根据实际的情况而变化，但是行人特征包括行人的外观特征，而外观特征与人脸不同，是会产品变化，例如行人在行走过程中脱下衣物等，因此，行人特征需要实时动态更新，而人脸特征可根据实际的使用需求选择性的更新。

本公开实施例的一种多视角目标轨迹生成方法，进一步的，通过步骤S210至步骤S270，获取不同视角的待识别视频中对应的检测目标的目标特征，得到了针对对应的检测目标的多视角的特征，通过检测目标与目标特征库中不同的标准目标来获取检测目标的身份，通过比较视角不同但身份相同的检测目标的特征相似度，更新目标特征库中标准目标的标准特征，再使用更新过的目标特征库分别识别多个不同视角的待识别视频中的目标，提高了目标识别的精确度，进一步的，使用人脸特征提取和行人特征提取融合的目标特征提取方法，以及结合人脸特征和行人特征的更为准确的人脸识别方法和目标特征库的更新方法，提高了对行人的识别准确度，实现了对行人身份的精确确认。

下面将进一步阐述多视角目标轨迹生成方法中步骤S300的具体步骤。

示例性的，步骤S300获取所有多个不同视角待识别视频中同一目标的运动轨迹点，包括：

S310：比较多个不同视角的待识别视频中的所有目标在每个对应的图像帧以及其前后时序的图像帧中的跟踪特征，根据比较结果判断目标与对应的图像帧前后时序的图像帧中的目标是否为同一目标。

具体地，在本步骤中，针对步骤S200中检测识别到的每一个目标，获取其对应的图像帧，也就是每个目标出现过的图像帧，示例性的，首先，先任意选取一个待识别视频，获取到该目标在该待识别视频中出现过的所有图像帧，在其中任意选取时序t的图像帧，获取该图像帧在前时序中第一个出现过该目标的图像帧、以及该图像帧在后时序中第一个出现过该目标的图像帧，一般情况下，由于目标在视频的出现是连续的，因此，该图像帧在前时序中第一个出现过该目标的图像帧一般为该图像帧前一时序t-1的图像帧，该图像帧在后时序中第一个出现过该目标的图像帧一般为该图像帧后一时序t+1的图像帧，其次，分别比较时序t的图像帧中的目标和时序t-1的图像帧、时序t+1的图像帧中的目标的跟踪特征，若跟踪特征的差别较大，则判定时序t的图像帧中的目标与时序t-1的图像帧或时序t+1的图像帧中的目标不是同一个目标，否则，则判定为是同一个目标，示例性的，跟踪特征可为位置特征、外观特征、纹理特征等，本领域技术人员可根据实际情况选择不同的跟踪特征，本实施例中不进行具体限制；最后，通过上述方法分别比较每个待识别视频中出现过该目标的图像帧，找出所有视角的待识别视频中出现过该目标的图像帧，通过上述方法，判断出步骤S200中检测识别到的每一个目标与对应的图像帧前后时序的图像帧中的目标是否为同一目标。

S320：若为同一目标，则获取对应的图像帧以及其前后时序的图像帧中的目标位置信息，以得到选取的目标的运动轨迹点。

具体地，在步骤S310中，已经判断出图像帧中的目标与前后时序中的目标是否为同一目标，在本步骤中，针对是同一目标的目标，分别识别该目标在找到的图像帧中的目标位置信息，每个目标位置信息构成目标在该图像帧中的运动轨迹点，示例性的，可通过识别该目标在图像帧中的像素坐标获取目标位置信息，例如，使用Center-net目标检测算法、Deep-sort目标检测算法来获取目标的像素坐标。

示例性的，步骤S310比较多个不同视角的待识别视频中的所有目标在每个对应的图像帧以及其前后时序的图像帧中的跟踪特征，根据比较结果判断目标与对应的图像帧前后时序的图像帧中的目标是否为同一目标，包括：

S311：获取目标在对应的图像帧以及其前后时序的图像帧中的中心位置和外观特征。

示例性的，在本步骤中，跟踪特征为目标在图像帧中的中心位置和外观特征，可通过Sort目标检测算法、Deep-sort目标检测算法获取目标在对应的图像帧以及其前后时序的图像帧中的像素坐标区域，以获取到目标在图像帧中所占的位置区域，再进一步检测该位置区域的中心，得到目标的中心位置，也就是中心位置的像素坐标，示例性的，在本步骤中，可使用不同的特征提取方法获取目标的外观特征，例如一种基于半监督多任务学习的one-stage人脸检测算法-RetinaFace检测网络、一种基于ResNet网络的分类模型。

S312：比较目标在对应的图像帧以及其前后时序的图像帧中的中心位置变化率。

具体地，在本步骤中，分别计算目标在对应的图像帧以及其前后时序的图像帧中的中心位置变化率，并比较中心位置变化率与预设的中心位置变化率阈值之间的关系，示例性的，中心位置变化率为中心位置的像素坐标变化率，本领域技术人员可根据实际的使用信息选择不同的中心位置变化率的计算方法，本领域技术人员可根据实际情况设置中心位置变化率阈值，本实施例中不进行具体限制。

S313：比较目标在对应的图像帧以及其前后时序的图像帧中的外观特征相似度。

具体地，在本步骤中，分别计算目标在对应的图像帧以及其前后时序的图像帧中的外观特征相似度，并比较外观特征相似度与预设的外观特征相似度阈值之间的关系，示例性的，外观特征相似度为特征提取获取的目标特征的匹配程度，本领域技术人员可根据实际需求选择不同的图像相似度度量指标和计算方法，领域技术人员可根据实际情况设置外观相似度阈值，本实施例中不进行具体限制。

需要说明的是，步骤S312和S313的执行顺序可根据实际情况进行调整。

S314：根据中心位置变化率和外观特征相似度的比较结果判断目标与对应的图像帧前后时序的图像帧中的目标是否为同一目标。

示例性的，在本步骤中，若中心位置变化率小于等于预设的中心位置变化率阈值，同时，外观特征相似度大于等于预设的外观特征相似度阈值，则判断目标与对应的图像帧前后时序的图像帧中的目标为同一目标，否则，则判断为不同目标。

本公开实施例的一种多视角目标轨迹生成方法，进一步的，通过步骤S310至步骤S320，实现了通过目标的跟踪特征来判断同一视角的待识别视频中前后不同时序的图像帧中的目标是否为同一目标，若为同一目标，则后续进一步获取该同一目标的运动轨迹点，通过这种方法，先确认目标是否为同一目标、再获取同一目标的运动轨迹点，避免了识别过程中可能将不同目标的轨迹点误识别为同一目标的轨迹点的情况，提高了轨迹生成的精确度，此外，在此基础上，进一步将目标的跟踪特征设置为中心位置和外观特征的结合，也就是将位置移动不大且外观相似度高的前后时序图像帧中的目标判定为同一目标，通过位置和外观两个指标，进一步提高了判定两个目标是否为同一目标的准确度，进而提高了轨迹生成的准确度。

下面将进一步阐述多视角目标轨迹生成方法中步骤S400的具体步骤。

示例性的，步骤S400将每个运动轨迹点进行三维转换，以将多个不同视角的待识别视频中所有同一目标的运动轨迹点映射到现实空间，得到对应的三维运动轨迹点，包括：

S410：根据多个不同视角的待识别视频得到图像参考点。

具体地，在本步骤中，对多个不同视角的待识别视频进行标定，根据标定的情况获取图像参考点，用于在后续二维空间转换为三维空间的过程中作为转换的参考依据，示例性的，对多个不同视角的待识别视频中同一视频的帧图像的背景进行标定，可通过标定三个以上的点来获取图像参考点，本领域技术人员还可根据实际的使用需求使用其他方法获取图像参考点，本实施例中不进行具体限制。

示例性的，可通过相机标定参数的设置来得到图像参考点，例如，通过确定相机参数的标定精度、标定速度以及标定模型的可移植性构建坐标转换拒绝，相机标定可以确定相机的几何光学特性，即内部参数，包括焦距f、畸变系数k和非确定性标度因子s，以及在现实空间，也就是在特定的世界坐标系中相机的位姿，即外部参数，包括世界坐标系相对于相机坐标系的正交旋转矩阵R和和平移矩阵T，基于此建立起三维世界坐标和二维计算机图像坐标之间的关系，以实现二维空间信息和三维空间信息的相互转换。

S420：根据图像参考点的图像像素坐标与现实空间坐标的映射，得到图像坐标信息与现实空间的转换关系。

具体地，在本步骤中，获取图像参考点的在多个不同视角的待识别视频中的像素坐标，也就是图像像素坐标，该图像像素坐标为二维坐标，再获取图像参考点在现实空间的坐标，也就是现实空间坐标，该现实空间坐标为三维坐标，再获取图像像素坐标与现实空间坐标之间的映射关系，也就是二维坐标与三维坐标之间的映射关系，从而得到图像坐标信息与现实空间的转换关系，示例性的，图像坐标信息与现实空间的转换关系为坐标变换矩阵。

S430：根据图像坐标信息与现实空间的转换关系将同一目标的每个运动轨迹点进行三维转换，以将同一目标的每个运动轨迹点映射到现实空间，得到对应的三维运动轨迹点。

具体地，在本步骤中，使用步骤S420中构建的图像坐标信息与现实空间的转换关系，将步骤S300中获取的同一目标的多个视角的运动轨迹点进行从二维空间到三维空间的三维转换，将其参照参考点映射到现实空间，也就是三维地图空间，其映射到现实空间中的点即为三维运动轨迹点。

本公开实施例的一种多视角目标轨迹生成方法，进一步的，通过步骤S410至步骤S430，根据参考点构建二维空间向三维空间的转换关系，进而使用该转换关系将步骤S300中得到的同一目标的多个运动轨迹点从二维空间到三维空间的三维转换，由于通过参考点设置转换关系，因此，提高了运动轨迹点三维转换的准确度，从而提高了轨迹生成的准确度。

示例性的，在步骤S500包括：

S510：对所有三维运动轨迹点进行拟合，得到同一目标的运动轨迹。

S520：将运动轨迹投影到二维空间，以得到同一目标的地图轨迹。

具体地，在本步骤中，可使用透视投影的方法将步骤S510中拟合得到的运动轨迹投影到二维空间，也就是二维地图空间，从而在得到步骤S300中选取的同一目标的三维运动轨迹后，还可以得到该选取的目标的二维运动轨迹，也即是地图轨迹，示例性的，如图4所示，可使用中心透视投影法将运动轨迹投影到二维空间，投影中心与全局坐标系(X1…X2)原点重合，描述三维空域场景中的点(X1,X2,X3)与二维图像平面上的透视投影对应点(X1,X2)之间坐标变换的数学表达式：

其中，f为投影中心与图像平面的距离，除此之外，本领域技术人员还可以根据实际的使用需求选择其他的投影方法，本实施例中不进行具体限制。

本公开实施例的一种多视角目标轨迹生成方法，进一步的，使用步骤S520将步骤S510中拟合得到的运动轨迹投影到二维地图空间，进一步得到该目标的地图轨迹，从而在获取目标的三维运动轨迹的基础上，进一步生成了目标的二维运动轨迹，实现了基于多路摄像头采集的目标信息在同一地图下生成三维运动轨迹的同时，还可生成二维运动轨迹，也就是说，当目标在某区域内活动，可以根据该区域内不同摄像头下的目标信息，生成其在二维地图上的连续轨迹，完成对目标的跨场景轨迹跟踪、跨镜追踪，提高了生成的运动轨迹的多样性，提高了使用者对目标运动轨迹观察的便捷性。

下面，将参考图3描述根据本公开另一实施例的一种领多视角目标轨迹生成装置。

示例性的，如图3所示，一种多视角目标轨迹生成装置100包括：

视频获取模块110，用于获取多个不同视角的待识别视频；

识别模块120，用于检测识别多个不同视角的待识别视频中的所有目标；

运动轨迹点获取模块130，用于获取所有多个不同视角待识别视频中同一目标的运动轨迹点；

三维转换模块140，用于将每个运动轨迹点进行三维转换，以将多个不同视角的待识别视频中所有同一目标的运动轨迹点映射到现实空间，得到对应的三维运动轨迹点；

拟合模块150，用于对所有三维运动轨迹点进行拟合，得到同一目标的运动轨迹。

本公开实施例的一种多视角目标轨迹生成装置，通过多个不同视角的待识别视频来实现获取同一目标在不同场景下的图像信息，再通过拟合选取的目标在所有视角的待识别视频中的所有时序图像帧中出现过的像素坐标，使得该拟合得到的运动轨迹包含了该目标在多视角下的运动轨迹点，从而更全面的体现了该目标的运动踪迹，更全面的检测到目标出现过的视角和时间，提高了生成的运动轨迹的精确度和全面性，实现了基于多路摄像头采集的目标信息在同一地图下生成运动轨迹，也就是说，当目标在某区域内活动，可以根据该区域内不同摄像头下的目标信息，生成其在三维地图上的连续轨迹，完成对目标的跨场景轨迹跟踪、跨镜追踪，目标跨场景识别与轨迹跟踪技术的应用可以减少大量视频监控人员的工作量，实现监控视频中目标行人的准确分析，有效地预防和打击犯罪行为，此外，本实施例中的方法可通过并行执行来同时生成多个目标的运动轨迹，提高了目标轨迹生成的效率，提高了对目标的跨场景轨迹跟踪的效率。

其中，计算机可读介质可以是本公开的装置、设备、系统中所包含的，也可以是单独存在。

其中，计算机可读存储介质可是任何包含或存储程序的有形介质，其可以是电、磁、光、电磁、红外线、半导体的系统、装置、设备，更具体的例子包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、光纤、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件，或它们任意合适的组合。

其中，计算机可读存储介质也可包括在基带中或作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码，其具体的例子包括但不限于电磁信号、光信号，或它们任意合适的组合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (10)

1.一种多视角目标轨迹生成方法，其特征在于，所述方法包括：

S100：获取多个不同视角的待识别视频；

S200：检测识别所述多个不同视角的待识别视频中的所有目标；

S300：获取所有所述多个不同视角的待识别视频中同一目标的运动轨迹点；

S400：将每个所述运动轨迹点进行三维转换，以将所述多个不同视角的待识别视频中所有所述同一目标的所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点；

S500：对所有所述三维运动轨迹点进行拟合，得到所述同一目标的运动轨迹；

S600：重复执行步骤S300至S500，直至得到所述所有目标的运动轨迹。

2.根据权利要求1所述的方法，其特征在于，所述检测识别所述多个不同视角的待识别视频中的所有目标，包括：

抽取每个视角的所述待识别视频的关键帧，以得到每个所述待识别视频的待识别图像；

检测每个所述待识别图像中的目标，以得到检测目标；

对所述检测目标进行特征提取，以得到所述检测目标的特征；

建立目标特征库，所述目标特征库中预存储至少一个标准目标的至少一个标准特征；

比较所述多个不同视角的待识别图像中所述检测目标的特征与所述目标特征库中每个所述标准目标的标准特征，得到所述检测目标与所述目标特征库中每个所述标准目标的特征相似度，根据所述特征相似度得到所述检测目标的身份信息；

比较身份信息相同的检测目标的特征相似度，根据比较结果更新所述目标特征库中对应的标准目标的标准特征，以动态更新所述目标特征库；

根据所述动态更新后的目标特征库识别所述多个不同视角的待识别视频中的目标。

3.根据权利要求2所述的方法，其特征在于，所述对所述检测目标进行特征提取，以得到所述检测目标的特征，包括：

对每个所述待识别图像中的每个所述检测目标进行人脸检测，若检测到人脸，则提取人脸特征，将所述人脸特征作为所述检测目标的特征；若不能检测到人脸，则对所述检测目标进行行人特征提取，若能提取到行人特征，则将所述行人特征作为所述检测目标的特征。

4.根据权利要求3所述的方法，其特征在于，所述比较所述多个不同视角的待识别图像中所述检测目标的特征与所述目标特征库中每个所述标准目标的标准特征，得到所述检测目标与所述目标特征库中每个所述标准目标的特征相似度，根据所述特征相似度得到所述检测目标的身份信息，包括：

获取所述检测目标最大的特征相似度；

将所述检测目标最大的特征相似度与预设的相似度阈值进行比较；

若所述检测目标最大的特征相似度大于预设的相似度阈值，则将所述最大的特征相似度对应的标准目标的身份信息作为所述检测目标的身份信息；

若所述检测目标最大的特征相似度小于等于预设的相似度阈值，则将所述检测目标作为新的标准目标存储至所述目标特征库，将所述检测目标最大的特征相似度对应的特征作为对应的新的标准特征存储至所述目标特征库，所述目标特征库根据所述新的标准目标生成一个新的身份信息，将所述新的身份信息作为所述检测目标的身份信息。

5.根据权利要求3所述的方法，其特征在于，所述比较身份信息相同的检测目标的特征相似度，根据比较结果更新所述目标特征库中对应的标准目标的标准特征，以动态更新所述目标特征库，包括：

所述目标特征库中预存储的标准特征包括标准人脸特征和标准行人特征；

若所述身份信息相同的检测目标有多个，则获取所述身份信息相同的多个检测目标的特征相似度；

若所述身份信息相同的多个检测目标的特征包括人脸特征，则比较所述多个检测目标的人脸特征对应的特征相似度，使用特征相似度高的人脸特征更新所述目标特征库中对应的标准目标的标准人脸特征；

若所述身份信息相同的多个检测目标的特征包括行人特征，则比较所述多个检测目标的行人特征对应的特征相似度，使用特征相似度高的行人特征更新所述目标特征库中对应的标准目标的标准行人特征。

6.根据权利要求1至5中任意一项所述的运动轨迹生成方法，其特征在于，所述获取所有所述多个不同视角待识别视频中同一目标的运动轨迹点，包括：

比较所述多个不同视角的待识别视频中的所有目标在每个对应的图像帧以及其前后时序的图像帧中的跟踪特征，根据比较结果判断所述目标与所述对应的图像帧前后时序的图像帧中的目标是否为同一目标；

若为同一目标，则获取所述对应的图像帧以及其前后时序的图像帧中的目标位置信息，以得到所述选取的目标的运动轨迹点。

7.根据权利要求6所述的方法，其特征在于，所述比较所述多个不同视角的待识别视频中的所有目标在每个对应的图像帧以及其前后时序的图像帧中的跟踪特征，根据比较结果判断所述目标与所述对应的图像帧前后时序的图像帧中的目标是否为同一目标，包括：

获取所述目标在所述对应的图像帧以及其前后时序的图像帧中的中心位置和外观特征；

比较所述目标在所述对应的图像帧以及其前后时序的图像帧中的中心位置变化率；

比较所述目标在所述对应的图像帧以及其前后时序的图像帧中的外观特征相似度；

根据所述中心位置变化率和所述外观特征相似度的比较结果判断所述选取的目标与所述对应的图像帧前后时序的图像帧中的目标是否为同一目标。

8.根据权利要求1至5中任意一项所述的方法，其特征在于，所述将每个所述运动轨迹点进行三维转换，以将所述多个不同视角的待识别视频中所有所述同一目标的所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点，包括：

根据所述多个不同视角的待识别视频得到图像参考点；

根据所述图像参考点的图像像素坐标与现实空间坐标的映射，得到图像坐标信息与现实空间的转换关系；

根据所述图像坐标信息与现实空间的转换关系将所述同一目标的每个所述运动轨迹点进行三维转换，以将所述同一目标的每个所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点。

9.一种多视角目标轨迹生成装置，其特征在于，所述装置包括：

视频获取模块，用于获取多个不同视角的待识别视频；

识别模块，用于检测识别所述多个不同视角的待识别视频中的所有目标；

运动轨迹点获取模块，用于获取所有所述多个不同视角待识别视频中同一目标的运动轨迹点；

三维转换模块，用于将每个所述运动轨迹点进行三维转换，以将所述多个不同视角的待识别视频中所有所述同一目标的所述运动轨迹点映射到现实空间，得到对应的三维运动轨迹点；

拟合模块，用于对所有所述三维运动轨迹点进行拟合，得到所述同一目标的运动轨迹。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储单元，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，能使得所述一个或多个处理器实现根据权利要求1至8中任意一项所述的方法。

Images