CN115050004A - 基于顶视角相机的行人跨镜定位方法、系统以及介质 - Google Patents

基于顶视角相机的行人跨镜定位方法、系统以及介质 Download PDF

Info

Publication number
CN115050004A
CN115050004A CN202210667434.1A CN202210667434A CN115050004A CN 115050004 A CN115050004 A CN 115050004A CN 202210667434 A CN202210667434 A CN 202210667434A CN 115050004 A CN115050004 A CN 115050004A
Authority
CN
China
Prior art keywords
camera
pedestrian
map
foot
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210667434.1A
Other languages
English (en)
Inventor
汝骏仁
郭长柱
郭星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fante Technology Co ltd
Original Assignee
Jiangsu Fante Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Fante Technology Co ltd filed Critical Jiangsu Fante Technology Co ltd
Priority to CN202210667434.1A priority Critical patent/CN115050004A/zh
Publication of CN115050004A publication Critical patent/CN115050004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于顶视角相机的行人跨镜定位方法、系统以及介质，其中，所述方法包括：获取目标区域内的每一相机的原始图像；在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位。其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。本发明通过预先设置的矫正图和局部地图实现了一种快速且准确的跨境定位以及后续的行人追踪，其准确率与识别速率均要优于现有方案，具备一定实际推广意义。

Description

基于顶视角相机的行人跨镜定位方法、系统以及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于顶视角相机的行人跨镜定位方法、系统以及介质。
背景技术
随着模式识别技术、视频分析处理技术的发展，人们对日常活动场合的安全性的需求日益强烈，智能视频监控系统已广泛应用于安防领域，为人们的财产、生命安全提供保障。基于视频序列的行人轨迹追踪是智能视频监控系统中的重要组成部分，并被应用于商场、停车场、银行、展览会、火车站等重要室内场所。
2017年以来，单镜头下的行人追踪技术在学术界取得不错的发展，MOT(MultipleObject Tracking Benchmark)基准每年都会被新算法刷新，但是精度远未达到落地标准(比如90％～95％)。以MOT20数据为例，当前最好的算法准确率只有77.1％。
而对跨镜追踪的研究，业界常用的方法是在单镜头追踪的基础上融入ReID(行人重识别)技术，来完成不同相机间对同一目标的匹配。虽然ReID技术在公开数据(例如Market1501)上达到了90％以上的Top1准确率，但是在实际安防相机画面中，面对“光照变化”、“行人遮挡”、“穿着相似”等问题，ReID的Top1准确率大幅下降，加上行人频繁跨镜带来的误差累积，使得整个跨镜追踪系统准确率低于60％，无法达到商用水准。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于顶视角相机的行人跨镜定位方法、系统以及介质，其解决了现有跨境定位技术的准确率低且识别速度慢的技术问题。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
第一方面，本发明实施例提供一种基于顶视角相机的行人跨镜定位方法，包括：
获取目标区域内的每一相机的原始图像；
在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；
将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；
将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位；
其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。
可选地，获取目标区域内的每一相机的原始图像之前，还包括：
在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵；
依据相机的内参矩阵和外参矩阵计算得到用于矫正的重映射矩阵；
基于所述重映射矩阵对每一相机所拍摄的图像进行畸变矫正，得到每一相机的矫正图；
通过对每两个相邻相机的矫正图进行特征点匹配得到拼接参数；
依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图。
可选地，在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵包括：
获取针对预先设置于目标区域的棋盘网格所拍摄的图像；
对所拍摄的图像中的棋盘网格定点进行角点检测，得到若干呈二维图像坐标的角点坐标；
基于所拍摄的图像的角点坐标，计算得到每一相机的内参矩阵和外参矩阵；
以及，依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图包括：
依据每两个相邻相机之间的所述拼接参数中的透视变换矩阵并结合矩阵累乘，得到每一相机到指定相机的透视变换矩阵；
基于所述每一相机到指定相机的透视变换矩阵对所述每一相机的矫正图进行透视变换，再进行拼接得到局部地图；
其中，每一相机的内参矩阵K和外参矩阵R，满足如下公式：
Figure BDA0003692089610000031
式中，C0......C53分别为每一角点在三维相机坐标系中的默认坐标，P0......P53为每一角点呈二维图像坐标的角点坐标；
所述重映射矩阵为：
Figure BDA0003692089610000032
Figure BDA0003692089610000033
式中，u，v是变换后的像素坐标，x，y是与u，v分别对应的像素坐标，K为内参矩阵，R为外参矩阵；
所述拼接参数包括如下透视变换矩阵：
Figure BDA0003692089610000034
Figure BDA0003692089610000035
其中，ai和bi分别为相邻的相机A和相机B的N组匹配点，HA→B为，i＝0,1,2,…N-1。
可选地，在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置包括：
通过预先训练好的Yolov5模型对所述原始图像中人的头部中心点坐标进行检测；
依据所述原始图像中的头部中心点坐标结合回归方程，计算得到对应的足部中心点坐标；
其中，
所述预先训练好的Yolov5模型经量化压缩部署在指定硬件平台上；
所述回归方程为：
Figure BDA0003692089610000041
其中，footi为第i个足部中心点坐标，headi为头部中心点坐标；i＝0,1,2,...N-1,M为拟合度数，默认为5；W和H分别为鱼眼图的宽和高；ak(k＝0,1,2,...M)为通过联立N个回归方程并通过最小二乘法求解的最优参数。
可选地，将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置包括：
基于所述重映射矩阵，通过求取每一所述原始图像的每一组坐标(x，y)所对应矫正图中坐标(u，v)，得到w*h个二维数组；
针对每一所述原始图像的任意一组坐标(x0，y0)，通过最近邻算法找到w*h个二维数组中离(x0，y0)最近的点作为任意一组坐标(x0，y0)所对应矫正图中的点；
其中，w和h分别是矫正图的宽和高。
可选地，将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位包括：
基于每一相机到指定相机的透视变换矩阵，将所述矫正图上的足部对应位置映射到所述局域地图的对应位置，并基于所述局部地图对行人进行定位。
可选地，基于所述局部地图对行人进行定位之后，还包括：通过预设多目标最终算法，依据所述局部地图上的足部对应位置对行人进行跨境头的轨迹追踪。
可选地，每一相机在预设的目标区域的布局满足如下条件：
优先在预设的目标区域内的座位区域正上方设置；
任意两个相邻的相机之间的距离不超过预定值，且任意三个相邻的相机之间呈正三角形；
所有相机的探测范围合起来覆盖整个目标区域；
且每一相机均为鱼眼相机，所述鱼眼相机所拍摄的图像为鱼眼图像。
第二方面，本发明实施例提供一种基于顶视角相机的行人跨镜定位系统，包括：
图像获取模块，用于获取目标区域内的每一相机的原始图像；
头脚映射模块，用于在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；
矫正图映射模块，用于将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；
局部地图映射模块，用于将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位；
其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。
第三方面，本发明实施例提供一种计算机可读介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上所述的一种基于顶视角相机的行人跨镜追踪方法。
(三)有益效果
本发明的有益效果是：本发明在初始化阶段预先构建好每一相机矫正图与整个局部地图，为后续实时进行原始图像到矫正图的映射以及矫正图到局部地图的映射乃至轨迹追踪提供了一种较为便利且快速的方式，同时避免了因光照变化、行人遮挡、穿着相似等原因出现的定位与追踪误判。由此，本发明实现了快速且准确的跨境定位以及后续精确地对行人进行追踪，从而得到目标在全区域内的完整实时轨迹的有益效果。本发明无论是在识别准确率还是识别速率均要优于现有方案，具备一定实际推广意义。
附图说明
图1为本发明提供一种基于顶视角相机的行人跨镜定位方法的流程示意图；
图2为本发明提供一种基于顶视角相机的行人跨镜定位方法的步骤S1之前的具体流程示意图；
图3为本发明提供一种基于顶视角相机的行人跨镜定位方法的步骤F11的具体流程示意图；
图4为本发明提供一种基于顶视角相机的行人跨镜定位方法的用于标定的棋盘示意图；
图5为本发明提供一种基于顶视角相机的行人跨镜定位方法的棋盘的角点坐标示意图；
图6为本发明提供一种基于顶视角相机的行人跨镜定位方法的畸变矫正示意图；
图7为本发明提供一种基于顶视角相机的行人跨镜定位方法的局域地图示意图；
图8为本发明提供一种基于顶视角相机的行人跨镜定位方法的步骤S2的具体流程示意图；
图9为本发明提供一种基于顶视角相机的行人跨镜定位方法的人头检测示意图；
图10为本发明提供一种基于顶视角相机的行人跨镜定位方法的头脚映射示意图；
图11为本发明提供一种基于顶视角相机的行人跨镜定位方法的原始图像到矫正图的示意图；
图12为本发明提供一种基于顶视角相机的行人跨镜定位方法的矫正图到局部地图的映射；
图13为本发明提供一种基于顶视角相机的行人跨镜定位方法的基于局部地图进行的目标追踪示意图；
图14-1、图14-2以及图14-3分别为本发明提供一种基于顶视角相机的行人跨镜定位方法的相机的第一、第二以及第三布局方式。
具体实施方式
为了更好地解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
如图1所示，本发明实施例提出的一种基于顶视角相机的行人跨镜定位方法，包括：首先，获取目标区域内的每一相机的原始图像；其次，在原始图像中检测到人的头部所在位置，并依据头部所在位置回归得到足部所在位置；接着，将每一原始图像中的足部所在位置映射到对应相机所预设的矫正图的对应位置；最后，将矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在局部地图上实现对行人的定位；其中，局域地图为将每一相机的矫正图通过拼接得到。
本发明在初始化阶段预先构建好每一相机矫正图与整个局部地图，为后续实时进行原始图像到矫正图的映射以及矫正图到局部地图的映射乃至轨迹追踪提供了一种较为便利且快速的方式，同时避免了因光照变化、行人遮挡、穿着相似等原因出现的定位与追踪误判。由此，本发明实现了快速且准确的跨境定位以及后续精确地对行人进行追踪，从而得到目标在全区域内的完整实时轨迹的有益效果。本发明无论是在识别准确率还是识别速率均要优于现有方案，具备一定实际推广意义。
为了更好地理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
具体地，本发明提供的一种基于顶视角相机的行人跨镜定位方法，包括：
S1、获取目标区域内的每一相机的原始图像。实时采集每一鱼眼相机画面，为了满足行人追踪的要求，建议采样频率不小于一秒5帧。
如图2所示，在步骤S1之前，还包括：
F11、在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵。
进一步地，如图3所示，步骤F11包括：
F111、获取针对预先设置于目标区域的棋盘网格所拍摄的图像。
F112、对所拍摄的图像中的棋盘网格定点进行角点检测，得到若干呈二维图像坐标的角点坐标。
F113、基于所拍摄的图像的角点坐标，计算得到每一相机的内参矩阵和外参矩阵。
上述相机标定采用张正友标定法，其具体实施步骤如下：
(1)固定一个棋盘放在地面上。
(2)手持相机(和所安装相机同款相机)，绕着棋盘，从不同角度、高度对棋盘进行拍摄，保证棋盘占整个画面1/8以上的大小，累计50张左右的图片。
(3)对图4所示的画面中的棋盘网格顶点进行角点检测。
以图5所示的棋盘为例(角点用实心圆标注出来)，该棋盘用的是6*9的棋盘，因此共有54个角点；它们的三维相机坐标系中的坐标默认是：
C0＝(0,0,0),C1＝(1,0,0),C2＝(2,0,0),C3＝(3,0,0),C4＝(4,0,0),C5＝(5,0,0)；
C6＝(0,1,0),C7＝(1,1,0),C8＝(2,1,0),C9＝(3,1,0),C10＝(4,1,0),C11＝(5,1,0)；
C12＝(0,2,0),C13＝(1,2,0),C14＝(2,2,0),C15＝(3,2,0),C16＝(4,2,0),C17＝(5,2,0)；
C18＝(0,3,0),C19＝(1,3,0),C20＝(2,3,0),C21＝(3,3,0),C22＝(4,3,0),C23＝(5,3,0)；
C24＝(0,4,0),C25＝(1,4,0),C26＝(2,4,0),C27＝(3,4,0),C28＝(4,4,0),C29＝(5,4,0)；
C30＝(0,5,0),C31＝(1,5,0),C32＝(2,5,0),C33＝(3,5,0),C34＝(4,5,0),C35＝(5,5,0)；
C36＝(0,6,0),C37＝(1,6,0),C38＝(2,6,0),C39＝(3,6,0),C40＝(4,6,0),C41＝(5,6,0)；
C42＝(0,7,0),C43＝(1,7,0),C44＝(2,7,0),C45＝(3,7,0),C46＝(4,7,0),C47＝(5,7,0)；
C48＝(0,8,0),C49＝(1,8,0),C50＝(2,8,0),C51＝(3,8,0),C52＝(4,8,0),C53＝(5,8,0)。
经过角点检测得到它们的二维图像坐标，分别记为P0,P1,…P53。
(4)根据所有图的角点坐标，计算相机内参矩阵K和外参矩阵R，且内参矩阵K和外参矩阵R满足公式：
Figure BDA0003692089610000091
式中，C0......C53分别为每一角点在三维相机坐标系中的默认坐标，P0......P53为每一角点呈二维图像坐标的角点坐标。
基于上述公式，采用RANSAC(随机一致性采样)算法对内参矩阵K和外参矩阵R进行求解，过程为：
(a)随机采样N个点。
(b)根据采样的N个点进行最小二乘法，求解未知参数的局部最优解，从而得到临时模型。
(c)根据临时模型计算剩余采样点(N个点以外的点)的Mean SquareError(均方误差)。
(d)将误差大于阈值的点记为外点，小于阈值的点记为内点。
(e)重复以上四步3～5次。
(f)将所有内点作为最终采样点，进行最小二乘法，求解未知参数的最优解，记为最终模型。
F12、依据相机的内参矩阵和外参矩阵计算得到用于矫正的重映射矩阵。
根据相机内参矩阵K和外参矩阵R计算重映射矩阵(矫正参数)，并作保存，重映射矩阵为：
Figure BDA0003692089610000101
Figure BDA0003692089610000102
式中，u，v是变换后的像素坐标，x，y是与u，v分别对应的像素坐标，K为内参矩阵，R为外参矩阵。p、q、r均为中间计算结果，仅参与计算并无实际意义。
F13、基于重映射矩阵对每一相机所拍摄的图像进行畸变矫正，得到每一相机的矫正图。有了上述重映射矩阵，参考图6可知仅需进行一次图像重映射(把一幅图中的像素放至到另一幅图中的指定位置)就可对图像进行畸变矫正。
F14、通过对每两个相邻相机的矫正图进行特征点匹配得到拼接参数，且拼接参数包括透视变换矩阵。
假设相机A的矫正图和相机B的矫正图共有N组匹配点a0,a1,...aN-1和b0,b1,...bN-1，它们都是二维坐标向量，则利用下述公式计算相机A到相机B之间的透视变换矩阵：
Figure BDA0003692089610000111
Figure BDA0003692089610000112
其中，ai和bi分别为相邻的相机A和相机B的N组匹配点，HA→B为透视变换矩阵，i＝0,1,2,...N-1，z也是中间计算结果，仅参与计算并无实际意义。
F15、依据拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图。
所有相邻相机之间均得到一个透视变换矩阵HA→B(相机A到相机B)，则不相邻相机之间通过矩阵累乘也能得到一个透视变换矩阵。例如：相机A到相机B的透视变换矩阵为HA→B，相机B到相机C的透视变换矩阵为HB→C，那么相机A到相机C的透视变换矩阵为HA→C＝HB→C*HA→B。然后指定一个主相机，那么通过上述矩阵累乘的方法，其他所有相机到主相机的变换矩阵都可以求得。所有相机画面根据它到主相机的变换矩阵进行透视变换，再进行拼接就可得到如图7所示的局部地图。
S2、在原始图像中检测到人的头部所在位置，并依据头部所在位置回归得到足部所在位置。
如图8所示，步骤S2包括：
S21、如图9所示，通过预先训练好的Yolov5模型对原始图像中人的头部中心点坐标进行检测。
基于深度学习的人头检测器，检测画面中人头所在位置(即图9中方框处)。具体可以分成数据准备阶段、模型训练阶段和模型推理阶段。
在数据准备阶段，本发明会采集指定场景的真实鱼眼视频/图片，针对图中的人头区域进行矩形框标注。一般会对每个相机采集1000～5000张有效图片。
在模型训练阶段，本发明采用Yolov5模型，将标定好的数据“喂”给模型进行迭代学习。
在模型推理阶段，本发明会先将训练好的模型进行量化压缩，然后在指定硬件平台进行模型部署，最后将实时视频流在模型部署端进行实时预测，返回每帧图像中所有有效目标的位置信息和类别信息。在模型量化阶段采用INT8量化技术，以极低的精度损失换回2～3倍的效率提升。在模型部署阶段，本发明支持服务器端x86架构、边缘盒子端arm64架构，算力侧适配华为昇腾310的NPU、英伟达的任意一款GPU显卡、以及纯CPU加速。
S22、依据原始图像中的头部中心点坐标结合回归方程，计算得到对应的足部坐标，具体步骤如下：
(1)选择若干张图片中的N个人，标注每个人的人头中心点坐标和双脚中心点坐标，记为head0,head1,…headN-1和foot0,foot1,…footN-1，它们都是二维向量。
(2)建立回归方程：
Figure BDA0003692089610000121
其中，footi为第i个足部中心点坐标，headi为头部中心点坐标；i＝0,1,2,...N-1,M为拟合度数，默认为5；W和H分别为鱼眼图的宽和高；ak(k＝0,1,2,...M)为通过联立N个回归方程并通过最小二乘法求解的最优参数。
(3)联立N个方程，通过最小二乘法求解最优参数ak(k＝0,1,2,...M)。
因此，对于目标检测到的人头中心点坐标head，对应的脚坐标foot计算公式如下：
Figure BDA0003692089610000122
Figure BDA0003692089610000123
S3、如图11所示，将每一原始图像中的足部所在位置映射到对应相机所预设的矫正图的对应位置。
步骤S3包括：
S31、基于重映射矩阵，通过求取每一原始图像的每一组坐标(x，y)所对应矫正图中坐标(u，v)，得到w*h个二维数组。
S32、针对每一原始图像的任意一组坐标(x0，y0)，通过最近邻算法找到w*h个二维数组中离(x0，y0)最近的点作为任意一组坐标(x0，y0)所对应矫正图中的点。其中，w和h分别是矫正图的宽和高。
基于重映射矩阵，得到了矫正图中坐标(u,v)到原始鱼眼图中坐标(x,y)的映射关系，此刻需要做的是反向推理，即根据原始鱼眼图中坐标(x,y)，求解相应的矫正图中坐标(u,v)。具体做法如下：
(1)对每一组(u,v)，(u＝0,1,…,w-1,v＝0,1,…,h-1，w和h分别是矫正图的宽和高)，求解它所对应的(x,y)，因此得到一个w*h个二维数组。
(2)针对给定的(x0,y0)，用最近邻算法KNN(K-Nearest Neighbors)找到(1)中w*h个二维数组中离(x0,y0)最近的点。
(3)该最近的点所对应的(u,v)就是(x0,y0)对应的矫正图中的点。
S4、将矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在局部地图上实现对行人的定位。
步骤S4包括：
基于每一相机到指定相机的透视变换矩阵，将矫正图上的足部对应位置映射到局域地图的对应位置，并基于局部地图对行人进行定位。
上述步骤已经得到任一相机到主相机的透视变换矩阵H，参考图12，矫正图中的坐标点(u,v)经过以下计算就可得到局部地图中的坐标点(x,y)：
Figure BDA0003692089610000131
Figure BDA0003692089610000132
以及，步骤s4之后，还包括：通过预设多目标最终算法，依据局部地图上的足部对应位置对行人进行跨境头的轨迹追踪。如图13所示，将所有相机下的检测目标，通过上述方式映射到局部地图后，就在局部地图上进行轨迹追踪，轨迹追踪的方法基于深度学习的多目标追踪算法，包括且不限于：SORT；且图13中每个圆点代表一个行人，原点“拖着”的曲线是该行人前5秒钟的历史轨迹。圆点旁的数字“38:72”，表示：该行人的唯一数字编号为38(用来区分不同行人的编号)以及改行人在区域内共停留72秒钟。
在具体实施例中，本发明采用鱼眼相机，因为它视场角大，可以以较少的相机覆盖整个室内。每一鱼眼相机安装在天花板上，具体其相机布局/安装流程如下：
(1)根据CAD图，确定业务端关心的活动区域，下面默认在该活动区域内安装相机。
(2)统计区域内的不同高度。
(3)在各大座位区域上方添加相机，即满足以下原则1。
(4)从已添加的相机开始，向外递归扩散，扩散方式需满足以下原则2和原则4。
(5)扩散直至覆盖整个区域，即满足以下原则3。
(6)现场安装时需满足以下原则5。
原则1：座位区域正上方优先安装相机。
原则2：相邻相机之间距离不能超过预定值(预定值详见“相机高度和覆盖范围”表格)。
原则3：所有相机的覆盖范围合起来可以覆盖整个活动区域。
原则4：如图14-1、图14-2以及图14-3，可知所有相机彼此间呈正三角形布局。
所有相机高度和覆盖范围如下表所示：
Figure BDA0003692089610000151
Figure BDA0003692089610000161
Figure BDA0003692089610000171
Figure BDA0003692089610000181
基于上述表格，可推断出：
(1)如果相机A高度为2.54米，则它的覆盖范围可以用边长为7.06米的正方形代替，在CAD图上布置相机位置。
(2)如果相机A和相机B相邻，其中相机A高度为2.54米，相机B高度为2.58米，则相机A和相机B之间的距离不能超过2.82+2.87米。
参考下表，可知业界在行人的多目标轨迹追踪任务(MOT)上，现有技术的准确率(黑色框框)普遍低于80％。本发明通过硬软件结合、算法优化，将准确率提高至90％，达到可商用级别。
Benchmark Statistics
Figure BDA0003692089610000191
与此同时，本发明提供一种基于顶视角相机的行人跨镜定位系统，包括：
图像获取模块，用于获取目标区域内的每一相机的原始图像；
头脚映射模块，用于在原始图像中检测到人的头部所在位置，并依据头部所在位置回归得到足部所在位置；
矫正图映射模块，用于将每一原始图像中的足部所在位置映射到对应相机所预设的矫正图的对应位置；
局部地图映射模块，用于将矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在局部地图上实现对行人的定位；
其中，局域地图为将每一相机的矫正图通过拼接得到。
以及，本发明还提供一种计算机可读介质，其上存储有计算机可执行指令，可执行指令被处理器执行时实现如上的一种基于顶视角相机的行人跨镜追踪方法。
由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于顶视角相机的行人跨镜定位方法，其特征在于，包括：
获取目标区域内的每一相机的原始图像；
在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；
将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；
将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位；
其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。
2.如权利要求1所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，获取目标区域内的每一相机的原始图像之前，还包括：
在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵；
依据相机的内参矩阵和外参矩阵计算得到用于矫正的重映射矩阵；
基于所述重映射矩阵对每一相机所拍摄的图像进行畸变矫正，得到每一相机的矫正图；
通过对每两个相邻相机的矫正图进行特征点匹配得到拼接参数；
依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图。
3.如权利要求2所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，
在对设置于预设的目标区域的若干相机标定之后，得到相机的内参矩阵和外参矩阵包括：
获取针对预先设置于目标区域的棋盘网格所拍摄的图像；
对所拍摄的图像中的棋盘网格定点进行角点检测，得到若干呈二维图像坐标的角点坐标；
基于所拍摄的图像的角点坐标，计算得到每一相机的内参矩阵和外参矩阵；
以及，依据所述拼接参数将每一相机所拍摄的图像进行图像拼接，得到局域地图包括：
依据每两个相邻相机之间的所述拼接参数中的透视变换矩阵并结合矩阵累乘，得到每一相机到指定相机的透视变换矩阵；
基于所述每一相机到指定相机的透视变换矩阵对所述每一相机的矫正图进行透视变换，再进行拼接得到局部地图；
其中，每一相机的内参矩阵K和外参矩阵R，满足如下公式：
Figure FDA0003692089600000021
式中，C0......C53分别为每一角点在三维相机坐标系中的默认坐标，P0......P53为每一角点呈二维图像坐标的角点坐标；
所述重映射矩阵为：
Figure FDA0003692089600000022
Figure FDA0003692089600000023
式中，u，v是变换后的像素坐标，x，y是与u，v分别对应的像素坐标，K为内参矩阵，R为外参矩阵；
所述拼接参数包括：透视变换矩阵HA→B，透视变换矩阵HA→B满足：
Figure FDA0003692089600000024
Figure FDA0003692089600000025
其中，ai和bi分别为相邻的相机A和相机B的N组匹配点，HA→B为，i＝0,1,2,…N-1。
4.如权利要求3所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置包括：
通过预先训练好的Yolov5模型对所述原始图像中人的头部中心点坐标进行检测；
依据所述原始图像中的头部中心点坐标结合回归方程，计算得到对应的足部中心点坐标；
其中，
所述预先训练好的Yolov5模型经量化压缩部署在指定硬件平台上；
所述回归方程为：
Figure FDA0003692089600000031
其中，footi为第i个足部中心点坐标，headi为头部中心点坐标；i＝0,1,2,...N-1,M为拟合度数，默认为5；W和H分别为鱼眼图的宽和高；ak(k＝0,1,2,...M)为通过联立N个回归方程并通过最小二乘法求解的最优参数。
5.如权利要求4所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置包括：
基于所述重映射矩阵，通过求取每一所述原始图像的每一组坐标(x，y)所对应矫正图中坐标(u，v)，得到w*h个二维数组；
针对每一所述原始图像的任意一组坐标(x0，y0)，通过最近邻算法找到w*h个二维数组中离(x0，y0)最近的点作为任意一组坐标(x0，y0)所对应矫正图中的点；
其中，w和h分别是矫正图的宽和高。
6.如权利要求4所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位包括：
基于每一相机到指定相机的透视变换矩阵，将所述矫正图上的足部对应位置映射到所述局域地图的对应位置，并基于所述局部地图对行人进行定位。
7.如权利要求6所述的一种基于顶视角相机的行人跨镜定位方法，其特征在于，基于所述局部地图对行人进行定位之后，还包括：通过预设多目标最终算法，依据所述局部地图上的足部对应位置对行人进行跨境头的轨迹追踪。
8.如权利要求1-7任一项所述的一种基于顶视角相机的行人跨镜追踪方法，其特征在于，每一相机在预设的目标区域的布局满足如下条件：
优先在预设的目标区域内的座位区域正上方设置；
任意两个相邻的相机之间的距离不超过预定值，且任意三个相邻的相机之间呈正三角形；
所有相机的探测范围合起来覆盖整个目标区域；
且每一相机均为鱼眼相机，所述鱼眼相机所拍摄的图像为鱼眼图像。
9.一种基于顶视角相机的行人跨镜定位系统，其特征在于，包括：
图像获取模块，用于获取目标区域内的每一相机的原始图像；
头脚映射模块，用于在所述原始图像中检测到人的头部所在位置，并依据所述头部所在位置回归得到足部所在位置；
矫正图映射模块，用于将每一所述原始图像中的所述足部所在位置映射到对应相机所预设的矫正图的对应位置；
局部地图映射模块，用于将所述矫正图上的足部对应位置映射到预先基于目标区域构建的局域地图的对应位置，进而在所述局部地图上实现对行人的定位；
其中，所述局域地图为将每一相机的所述矫正图通过拼接得到。
10.一种计算机可读介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-7任一项所述的一种基于顶视角相机的行人跨镜追踪方法。
CN202210667434.1A 2022-06-13 2022-06-13 基于顶视角相机的行人跨镜定位方法、系统以及介质 Pending CN115050004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210667434.1A CN115050004A (zh) 2022-06-13 2022-06-13 基于顶视角相机的行人跨镜定位方法、系统以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210667434.1A CN115050004A (zh) 2022-06-13 2022-06-13 基于顶视角相机的行人跨镜定位方法、系统以及介质

Publications (1)

Publication Number Publication Date
CN115050004A true CN115050004A (zh) 2022-09-13

Family

ID=83161174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210667434.1A Pending CN115050004A (zh) 2022-06-13 2022-06-13 基于顶视角相机的行人跨镜定位方法、系统以及介质

Country Status (1)

Country Link
CN (1) CN115050004A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402857A (zh) * 2023-04-14 2023-07-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402857A (zh) * 2023-04-14 2023-07-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法
CN116402857B (zh) * 2023-04-14 2023-11-07 北京天睿空间科技股份有限公司 一种基于三维标定的运动目标跨镜头跟踪方法

Similar Documents

Publication Publication Date Title
CN110456363B (zh) 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN104778690B (zh) 一种基于摄像机网络的多目标定位方法
Oniga et al. Processing dense stereo data using elevation maps: Road surface, traffic isle, and obstacle detection
Yang et al. Hierarchical extraction of urban objects from mobile laser scanning data
Siagian et al. Rapid biologically-inspired scene classification using features shared with visual attention
Lu et al. Monocular localization in urban environments using road markings
CN109190508A (zh) 一种基于空间坐标系的多摄像头数据融合方法
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
CN112084869A (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN113160325B (zh) 基于进化算法的多摄像机高精度自动标定方法
CN108416798B (zh) 一种基于光流的车辆距离估计方法
Zhang et al. Deep learning based object distance measurement method for binocular stereo vision blind area
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN115050004A (zh) 基于顶视角相机的行人跨镜定位方法、系统以及介质
CN117218201A (zh) Gnss拒止条件下无人机影像定位精度提升方法及系统
CN114581307A (zh) 用于目标追踪识别的多图像拼接方法、系统、设备及介质
CN113721254A (zh) 一种基于道路指纹空间关联矩阵的车辆定位方法
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
CN105844666B (zh) 一种基于单摄像头视频序列匹配的车辆测速方法及其系统
CN111353481A (zh) 基于激光点云与视频图像的道路障碍物识别方法
CN115546667A (zh) 一种无人机场景的实时车道线检测方法
CN115457080A (zh) 基于像素级图像融合的多目标车辆轨迹提取方法
Kozempel et al. Fast vehicle detection and tracking in aerial image bursts
CN111477013B (zh) 一种基于地图影像的车辆测量方法
Tan et al. Semantic segmentation of UAV lidar point clouds of a stack interchange with deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination