CN113674306A - 基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质 - Google Patents

Abstract

本申请涉及一种基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质，通过鱼眼图像训练集对模型进行训练，得到行人检测模型；通过行人检测模型获取鱼眼图像中每个行人的检测框位置信息；通过检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个空间相似度记为目标空间相似度；在只有一个目标空间相似度大于或等于空间相似度阈值的情况下，将空间相似度大于或等于空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，解决了需要先对鱼眼图像的桶形畸变进行校正，才能使用行人检测模型对校正后的鱼眼图像进行行人检测，导致计算速度慢，效率低的问题。

Description

基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质

技术领域

本申请涉及行人轨迹追踪技术领域，特别是涉及基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质。

背景技术

鱼眼镜头的作用是视角范围大，鱼眼镜头的视角一般可达到220°或230°，而常规镜头视角普遍在45°左右，鱼眼镜头为近距离拍摄大范围景物创造了条件。但由于鱼眼镜头超大视角的特点，使鱼眼镜头成像存在桶形畸变，通过图像校正算法可以对鱼眼图像进行畸变校正，使得鱼眼图像畸变尽可能减少。在相关技术中，需要对鱼眼图像进行畸变校正，得到正常图像后，再用深度学习模型对每一帧正常图像进行行人检测、行人跟踪与行人重识别，但获取鱼眼图像后，再对鱼眼图像进行畸变校正，会导致计算速度慢，效率低。

目前针对相关技术中对鱼眼图像进行畸变校正才能进行行人检测，导致计算速度慢，效率低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种基于鱼眼镜头的行人轨迹获取方法、系统、装置和介质，以至少解决相关技术中对鱼眼图像进行畸变校正才能进行行人检测，导致计算速度慢，效率低的问题。

第一方面，本申请实施例提供了一种基于鱼眼镜头的行人轨迹获取方法，所述方法包括：

获取鱼眼图像训练集，通过所述鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；

获取鱼眼镜头下的多帧鱼眼图像，通过所述行人检测模型获取所述鱼眼图像中每个行人的行人结构化信息，其中，所述行人结构化信息包括行人图像、时间戳和检测框位置信息；

通过所述检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个所述空间相似度记为目标空间相似度；

在只有一个所述目标空间相似度大于或等于空间相似度阈值的情况下，将所述空间相似度大于或等于所述空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，将多帧所述鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹。

在其中一些实施例中，在不止一个所述目标空间相似度大于或等于空间相似度阈值的情况下，所述方法还包括：

在第N帧检测到大于或等于空间相似度阈值的目标空间相似度不止一个的情况下，通过行人重识别模型，分别获取第N+1帧每个行人的行人图像和第N-1帧每个行人的行人图像的特征相似度；

将所述特征相似度大于或等于特征相似度阈值的行人进行匹配，获得第N-1帧和第N+1帧中所有行人的行人轨迹，其中，通过鱼眼图像训练集对深度学习模型进行训练，得到训练好的所述行人重识别模型。

在其中一些实施例中，获得上一帧与当前帧所有行人的行人轨迹之后，所述方法还包括：

将当前帧中行人的行人图像更新到所述行人结构化信息中；

所述获得第N-1帧和第N+1帧中所有行人的行人轨迹之后，所述方法还包括：

将第N+1帧中行人的行人图像更新至所述行人结构化信息中。

在其中一些实施例中，获取鱼眼图像训练集之前，所述方法还包括：

获取常规图像训练集，所述常规图像训练集包括常规图像和常规图像上行人的检测框位置信息；

通过数学模型将常规图像转换成鱼眼图像，并且将常规图像上行人的检测框位置信息转换为鱼眼图像上行人的检测框位置信息，鱼眼图像训练集包括鱼眼图像和鱼眼图像上行人的检测框位置信息。

在其中一些实施例中，通过所述检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度包括：

根据上一帧所述检测框位置信息与当前帧所述检测框位置信息的交集除以上一帧检测框位置信息与当前帧检测框位置信息的并集，获得行人的空间相似度。

在其中一些实施例中，所述获取所有行人的完整行人轨迹的过程中，所述方法还包括：

所述行人结构化信息还包括行人的身高信息，根据所述身高信息的变化是否在预设范围内判断行人的行为姿势，其中，不同的行为姿势对应不同的预设范围。

在其中一些实施例中，所述获得所有行人的完整行人轨迹之后，所述方法还包括：根据逐帧行人替代点对行人进行行为分析。

第二方面，本申请实施例提供了一种基于鱼眼镜头的行人轨迹获取系统，所述系统包括训练模块、检测模块、计算模块和匹配模块，

所述训练模块，用于获取鱼眼图像训练集，通过所述鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；

所述检测模块，用于获取鱼眼镜头下的多帧鱼眼图像，通过所述行人检测模型输出所述鱼眼图像中每个行人的行人结构化信息，其中，所述行人结构化信息包括行人图像、时间戳和检测框位置信息；

所述计算模块，用于通过所述检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个所述空间相似度记为目标空间相似度；

所述匹配模块，用于在只有一个所述目标空间相似度大于或等于空间相似度阈值的情况下，将所述目标空间相似度大于或等于所述空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，将多帧所述鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹。

第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于鱼眼镜头的行人轨迹获取方法。

第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于鱼眼镜头的行人轨迹获取方法。

相比于相关技术，本申请实施例提供的基于鱼眼镜头的行人轨迹获取方法，通过获取鱼眼图像训练集，通过鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；获取鱼眼镜头下的多帧鱼眼图像，通过行人检测模型获取鱼眼图像中每个行人的行人结构化信息，其中，行人结构化信息包括行人图像、时间戳和检测框位置信息；通过检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个空间相似度记为目标空间相似度；在只有一个目标空间相似度大于或等于空间相似度阈值的情况下，将空间相似度大于或等于空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，将多帧鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹，解决了需要先对鱼眼图像的桶形畸变进行校正，才能使用行人检测模型对校正后的鱼眼图像进行行人检测，导致计算速度慢，效率低的问题，且利用前后帧鱼眼图像中行人的空间相似度进行行人匹配，减少了不必要的计算资源。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于鱼眼镜头的行人轨迹获取方法的流程图；

图2是根据本申请实施例的基于鱼眼镜头的行人轨迹获取方法的示意图；

图3是根据本申请实施例的另一种基于鱼眼镜头的行人轨迹获取方法的示意图；

图4是根据本申请实施例的基于鱼眼镜头的行人轨迹获取方法的流程示意图；

图5是根据本申请实施例的基于鱼眼镜头的行人轨迹获取系统的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本实施例提供了一种基于鱼眼镜头的行人轨迹获取方法，图1是根据本申请实施例的基于鱼眼镜头的行人轨迹获取方法的流程图，如图1所示，该方法包括如下步骤：

步骤S101，获取鱼眼图像训练集，通过鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；具体的，鱼眼镜头属于超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围，由鱼眼镜头拍摄的图像称为鱼眼图像，训练集包括多条训练数据，一条训练数据包括鱼眼图像和鱼眼图像上行人的检测框位置信息，通过鱼眼图像训练集训练得出的行人检测模型对鱼眼图像进行行人检测，输出鱼眼图像中行人的检测框位置信息。

步骤S102，获取鱼眼镜头下的多帧鱼眼图像，通过行人检测模型获取鱼眼图像中每个行人的行人结构化信息，其中，行人结构化信息包括行人图像、时间戳和检测框位置信息；需要说明的是，行人检测模型输出鱼眼图像中行人的检测框位置信息后，可根据检测框位置信息对鱼眼图像中的行人进行剪裁、等比例剪缩并填充放至固定大小，得到处理后的行人图像。

步骤S103，通过检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个空间相似度记为目标空间相似度；示例性的，当前帧行人A1与上一帧行人A0的检测框重叠率，即为行人A1的空间相似度，在没有行人重叠或交错的情况下，若该空间相似度大于或等于空间相似度阈值，说明行人A1和行人A0为同一个行人。

步骤S104，在只有一个目标空间相似度大于或等于空间相似度阈值的情况下，将空间相似度大于或等于空间相似度阈值的行人进行匹配，得到上一帧与当前帧所有行人的行人轨迹，将多帧鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹。

示例性的，图2是根据本申请实施例的基于鱼眼镜头的行人轨迹获取方法的示意图，如图2所示，A0表示第0帧上的行人A，若当前帧为第1帧，分别获取当前帧每个行人和上一帧每个行人的空间相似度，即A1和A0的第一空间相似度为0.9，A1和B0的第二空间相似度为0，B1和A0的第三空间相似度为0，B1和B0的第四空间相似度为0.9，将第一空间相似度和第二空间相似度记为行人A的目标空间相似度，将第三空间相似度和第四空间相似度记为行人B的目标空间相似度，当空间相似度阈值为0.7时，行人A只有一个目标空间相似度大于或等于空间相似度阈值，行人B也只有一个目标空间相似度大于或等于空间相似度阈值，故将空间相似度大于或等于空间相似度阈值的行人进行匹配，即A1和A0进行匹配，B1和B0进行匹配，得到第0帧与第1帧的行人A的行人轨迹为A0→A1，行人B的行人轨迹为B0→B1，再通过上述方法将A2和A1进行匹配，B2和B1进行匹配，得到行人A的完整行人轨迹A0→A1→A2，行人B的完整行人轨迹为B0→B1→B2。

相对于相关技术中，鱼眼镜头成像过程中会造成桶形畸变，现有的行人检测模型都是使用常规图像训练集训练得到，则需要先对鱼眼图像的桶形畸变进行校正，才能使用行人检测模型对校正后的鱼眼图像进行行人检测，但这样会引入不少的处理器资源消耗，由于摄像头的处理器性能低，更会导致计算速度慢，效率低，通过上述步骤S101至S104，预先通过鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型，使行人检测模型可以直接对鱼眼图像进行行人检测，得到检测框位置信息，然后通过前后帧的检测框位置信息得到空间相似度，利用前后帧鱼眼图像中行人的空间相似度进行行人匹配，减少了不必要的计算资源，计算速度快，提高了行人轨迹获取的效率。

在其中一些实施例中，在不止有一个目标空间相似度大于或等于空间相似度阈值的情况下，在第N帧检测到大于或等于空间相似度阈值的目标空间相似度不止一个的情况下，通过行人重识别模型，分别获取第N+1帧每个行人的行人图像和第N-1帧每个行人的行人图像的特征相似度；将特征相似度大于或等于特征相似度阈值的行人进行匹配，获得第N-1帧和第N+1帧中所有行人的行人轨迹，其中，通过鱼眼图像训练集训练对深度学习模型进行训练，得到训练好的行人重识别模型。本实施例中，一条鱼眼图像训练数据包括鱼眼图像上的行人图像，通过该鱼眼图像训练集训练得出的行人重识别模型提取鱼眼图像上行人的特征信息，基于行人的特征信息计算特征相似度。

需要说明的是，若行人之间出现交错或重叠，就会造成不止有一个目标空间相似度大于或等于空间相似度阈值的情况，示例性的，图3是根据本申请实施例的另一种基于鱼眼镜头的行人轨迹获取方法的示意图，如图3所示，分别计算第0帧到第4帧所有行人的空间相似度，计算得出第0帧到第4帧都为只有一个目标空间相似度大于或等于空间相似度阈值的情况，再计算出A5和A4的第五空间相似度为0.8，A5和B4的第六空间相似度为0.9，B5和A4的第七空间相似度为0.9，B5和B4的第八空间相似度为0.7，当空间相似度阈值为0.7时，行人A和行人B都有两个目标空间相似度大于或等于空间相似度阈值，则不对第五帧进行处理，直接通过行人重识别模型获取第4帧行人图像和第6帧行人图像的特征相似度；将特征相似度大于或等于特征相似度阈值的行人进行匹配，得到第4帧和第6帧中所有行人的行人轨迹，再基于空间相似度对第6帧到第8帧中的行人进行匹配，得到所有行人的完整行人轨迹。

仅通过当前行人的检测框位置信息和历史行人的检测框位置信息进行匹配跟踪，无法解决行人交错、重叠或者行人检测框位置信息丢失时造成的跟踪异常问题，为解决跟踪异常问题，本实施例通过鱼眼图像训练集训练对深度学习模型进行训练，得到预先训练好的行人重识别模型，在判断出不止一个目标空间相似度大于或等于空间相似度阈值，或行人检测框位置信息丢失时，通过预先训练好的行人重识别模型获取特征相似度，将特征相似度大于或等于特征相似度阈值的行人进行匹配，之后再基于空间相似度进行行人匹配，直到得到所有行人的完整行人轨迹，既有效利用前后帧鱼眼图像中行人的空间相似度进行行人匹配，减少了不必要的计算资源，又能利用行人的特征信息提升行人交错或重叠时的跟踪准确率和完整性，而且可用于包括但不限于行人、车辆、飞行器等多种运动目标的跟踪。

获得上一帧与当前帧所有行人的行人轨迹之后，将当前帧中行人的行人图像更新到行人结构化信息中；获得第N-1帧和第N+1帧中所有行人的行人轨迹之后，将第N+1帧中行人的行人图像更新至行人结构化信息中。示例性的，在第5帧检测到大于或等于空间相似度阈值的目标空间相似度不止一个的情况下，行人结构化信息中保存第4帧中行人的行人图像，当根据特征相似度将第4帧和第6帧中的行人进行匹配之后，将第6帧中行人的行人图像更新至行人结构化信息中，本实施例中，如果将每一帧中行人的行人图像都保存下来，会占用较大的内存资源，只保存最新的行人图像，可以减少占用的内存资源，防止运行卡顿，进一步提高获取行人轨迹的效率。

在其中一些实施例中，获取鱼眼图像训练集之前，获取常规图像训练集，常规图像训练集包括常规图像和常规图像上行人的检测框位置信息；通过数学模型将常规图像转换成鱼眼图像，并且将常规图像上行人的检测框位置信息转换为鱼眼图像上行人的检测框位置信息，鱼眼图像训练集包括鱼眼图像和鱼眼图像上行人的检测框位置信息。本实施例中，根据鱼眼镜头的物理参数和被拍摄物体到镜头的空间位置，建立类似笛卡尔直角坐标系转换到极坐标系的数学模型，通过数学模型将常规图像转换成鱼眼图像，将常规图像上行人的检测框位置信息转换为鱼眼图像上行人的检测框位置信息。

在其中一些实施例中，通过检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度包括：根据上一帧检测框位置信息与当前帧检测框位置信息的交集除以上一帧检测框位置信息与当前帧检测框位置信息的并集，获得行人的空间相似度。本实施例中，在没有行人交错或行人重叠的情况下，上一帧检测框位置信息与当前帧检测框位置信息的交集越多，说明为同一个行人的概率越大，如图3所示，A0与A1的检测框位置信息的交集为80，A0与A1的检测框位置信息的并集为100，则A0与A1的空间相似度为0.8，而A0与B1的检测框位置信息的交集为0，则A0与B1的空间相似度为0，说明A0与A1为同一个行人，通过本实施例，利用前后帧鱼眼图像的检测框位置信息对行人进行跟踪，可以减少不必要的计算资源。

在其中一些实施例中，获取所有行人的完整行人轨迹的过程中，行人结构化信息还包括行人的身高信息，根据身高信息的变化是否在预设范围内判断行人的行为姿势，其中，不同的行为姿势对应不同的预设范围。例如，下蹲行为的预设范围可以设置为身高信息的1/3到身高信息的1/2，摔倒行为的预设范围可以设置为身高信息的1/3以下。

根据检测框位置信息可以得到行人的身高信息，示例性的，根据行人A的检测框位置信息得到检测框的高为3厘米，将3乘于预设倍数即可得到行人A的身高信息，当预设倍数为60时，行人A的身高信息为180厘米，当前4帧中行人A的身高信息为180厘米，在第5帧检测到行人A的身高信息只有80厘米，即行人A的身高信息变化在下蹲行为的预设范围内，说明行人A为下蹲姿势，在第6帧检测到行人A的身高信息只有50厘米，即行人A的身高信息变化在摔倒行为的预设范围内，说明行人A为摔倒姿势。

可选的，在检测到行人为下蹲姿势且持续时间超过预设时长时，进行异常报警，或检测到行人为摔倒姿势时，立马进行异常报警，通过本实施例，在养老看护领域，可以实时分析被监护者的摔倒或下蹲等异常行为，进行异常报警。

在其中一些实施例中，获得所有行人的完整行人轨迹之后，根据逐帧行人替代点对行人进行行为分析。图3中的a0至a8为每一帧上行人A的行人替代点，b0至b8为每一帧上行人B的行人替代点，通过行人替代点表示行人位置，更加方便分析行人轨迹信息，根据逐帧行人替代点对行人进行行为分析，在商品销售领域，分析顾客的购买倾向和潜在意向，在旅客引导场景，可以旅客是否为长时间逗留或徘徊，从而为人员长时间逗留或徘徊提供便捷贴心服务。

在其中一些实施例中，图4是根据本申请实施例的基于鱼眼镜头的行人轨迹获取方法的流程示意图，如图4所示，该方法包括如下步骤：

步骤S401，程序开始；

步骤S402，行人检测模型输出行人结构化信息；

步骤S403，计算当前行人与历史行人结构化信息的空间相似度；

步骤S404，判断当前行人与历史行人的空间相似度是否匹配；若判断结果为是，则跳转到S409，若判断结果为否，则跳转到S405；

步骤S405，提取下一帧行人图像的特征信息；

步骤S406，提取历史行人图像的特征信息；

步骤S407，判断下一帧行人与历史行人的特征信息是否匹配；若判断结果为是，则跳转到S409，若判断结果为否，则跳转到S408；

步骤S408，创建新跟踪序号，更新行人结构化信息，更新行人图像；

步骤S409，更新行人结构化信息，更新行人图像；

步骤S410，判断历史行人是否长时间未被跟踪成功；若判断结果为是，则跳转到S411，若判断结果为否，则跳转到S412；

步骤S411，基于行人结构化信息，分析行人的运动趋势和行为姿势；

步骤S412，判断程序是否继续执行；若判断结果为是，则跳转到S402，若判断结果为否，则跳转到S413；

步骤S413，程序结束。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本实施例还提供了一种基于鱼眼镜头的行人轨迹获取系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本申请实施例的基于鱼眼镜头的行人轨迹获取系统的结构框图，如图5所示，该系统包括训练模块51、检测模块52、计算模块53和匹配模块54，训练模块51用于获取鱼眼图像训练集，通过鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；检测模块52用于获取鱼眼镜头下的多帧鱼眼图像，通过行人检测模型输出鱼眼图像中每个行人的行人结构化信息，其中，行人结构化信息包括行人图像、时间戳和检测框位置信息；计算模块53用于通过检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个空间相似度记为目标空间相似度；匹配模块54用于在只有一个目标空间相似度大于或等于空间相似度阈值的情况下，将目标空间相似度大于或等于空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，将多帧鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹，解决了需要先对鱼眼图像的桶形畸变进行校正，才能使用行人检测模型对校正后的鱼眼图像进行行人检测，导致计算速度慢，效率低的问题。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的基于鱼眼镜头的行人轨迹获取方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于鱼眼镜头的行人轨迹获取方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于鱼眼镜头的行人轨迹获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于鱼眼镜头的行人轨迹获取方法，其特征在于，所述方法包括：

获取鱼眼图像训练集，通过所述鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；

获取鱼眼镜头下的多帧鱼眼图像，通过所述行人检测模型获取所述鱼眼图像中每个行人的行人结构化信息，其中，所述行人结构化信息包括行人图像、时间戳和检测框位置信息；

通过所述检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个所述空间相似度记为目标空间相似度；

在只有一个所述目标空间相似度大于或等于空间相似度阈值的情况下，将所述空间相似度大于或等于所述空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，将多帧所述鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹。

2.根据权利要求1所述的方法，其特征在于，在不止一个所述目标空间相似度大于或等于空间相似度阈值的情况下，所述方法还包括：

在第N帧检测到大于或等于空间相似度阈值的目标空间相似度不止一个的情况下，通过行人重识别模型，分别获取第N+1帧每个行人的行人图像和第N-1帧每个行人的行人图像的特征相似度；

将所述特征相似度大于或等于特征相似度阈值的行人进行匹配，获得第N-1帧和第N+1帧中所有行人的行人轨迹，其中，通过鱼眼图像训练集对深度学习模型进行训练，得到训练好的所述行人重识别模型。

3.根据权利要求2所述的方法，其特征在于，获得上一帧与当前帧所有行人的行人轨迹之后，所述方法还包括：

将当前帧中行人的行人图像更新到所述行人结构化信息中；

所述获得第N-1帧和第N+1帧中所有行人的行人轨迹之后，所述方法还包括：

将第N+1帧中行人的行人图像更新至所述行人结构化信息中。

4.根据权利要求1所述的方法，其特征在于，获取鱼眼图像训练集之前，所述方法还包括：

获取常规图像训练集，所述常规图像训练集包括常规图像和常规图像上行人的检测框位置信息；

通过数学模型将常规图像转换成鱼眼图像，并且将常规图像上行人的检测框位置信息转换为鱼眼图像上行人的检测框位置信息，鱼眼图像训练集包括鱼眼图像和鱼眼图像上行人的检测框位置信息。

5.根据权利要求1所述的方法，其特征在于，通过所述检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度包括：

根据上一帧所述检测框位置信息与当前帧所述检测框位置信息的交集除以上一帧检测框位置信息与当前帧检测框位置信息的并集，获得行人的空间相似度。

6.根据权利要求1所述的方法，其特征在于，所述获取所有行人的完整行人轨迹的过程中，所述方法还包括：

所述行人结构化信息还包括行人的身高信息，根据所述身高信息的变化是否在预设范围内判断行人的行为姿势，其中，不同的行为姿势对应不同的预设范围。

7.根据权利要求1所述的方法，其特征在于，所述获得所有行人的完整行人轨迹之后，所述方法还包括：根据逐帧行人替代点对行人进行行为分析。

8.一种基于鱼眼镜头的行人轨迹获取系统，其特征在于，所述系统包括训练模块、检测模块、计算模块和匹配模块，

所述训练模块，用于获取鱼眼图像训练集，通过所述鱼眼图像训练集对深度学习模型进行训练，得到训练好的行人检测模型；

所述检测模块，用于获取鱼眼镜头下的多帧鱼眼图像，通过所述行人检测模型输出所述鱼眼图像中每个行人的行人结构化信息，其中，所述行人结构化信息包括行人图像、时间戳和检测框位置信息；

所述计算模块，用于通过所述检测框位置信息，分别获取当前帧每个行人和上一帧每个行人的空间相似度，其中，将当前帧每个行人与上一帧所有行人的多个所述空间相似度记为目标空间相似度；

所述匹配模块，用于在只有一个所述目标空间相似度大于或等于空间相似度阈值的情况下，将所述目标空间相似度大于或等于所述空间相似度阈值的行人进行匹配，获得上一帧与当前帧所有行人的行人轨迹，将多帧所述鱼眼图像中的行人都进行匹配，获取所有行人的完整行人轨迹。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于鱼眼镜头的行人轨迹获取方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的基于鱼眼镜头的行人轨迹获取方法。

Images