CN110619662A - 一种基于单目视觉的多行人目标空间连续定位方法及系统 - Google Patents
一种基于单目视觉的多行人目标空间连续定位方法及系统 Download PDFInfo
- Publication number
- CN110619662A CN110619662A CN201910436035.2A CN201910436035A CN110619662A CN 110619662 A CN110619662 A CN 110619662A CN 201910436035 A CN201910436035 A CN 201910436035A CN 110619662 A CN110619662 A CN 110619662A
- Authority
- CN
- China
- Prior art keywords
- camera
- pedestrian
- coordinate system
- target space
- monocular vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于单目视觉的多行人目标空间连续定位方法及系统,完成相机的标定,获取相机内参数和畸变系数值;训练行人检测模型并部署于服务器;在室内场景中布设相机并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点用于求解对应场景下的相机外参数值;将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;将相机获取的实时视频数据传输至服务器;行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,多行人跟踪算法获得每个行人的像素定位坐标值,经过坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。本发明实现了单目相机下的多行人连续跟踪定位。
Description
技术领域
本发明涉及室内定位技术领域,尤其涉及一种基于单目视觉的多 行人目标空间连续定位方法、系统、装置及存储介质。
背景技术
室内定位场景下的行人精确定位是诸多应用领域共同面对的关 键问题,现有主流的室内定位技术要求大量的数据采集(如WIFI位 置指纹)或布设基础设施(如蓝牙),普及难度较大。
目前,大型公共场景安装有大量摄像头设备,其采集的视觉数据 (视频)是一种感知室内行人活动的潜在数据源,然而目前基于视觉 的行人检测技术侧重于行人识别与分类,并未考虑行人的空间精确定 位,其检测结果是屏幕坐标系下的行人位置,而非描述行人真实空间 位置信息的世界坐标系坐标,无法直接应用于室内定位与位置服务, 此外,大型公共场所内行人众多,定位系统还不具备对多行人目标进 行区分与持续跟踪定位的能力。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于:现有技术中摄像头设备采集的视 频数据的检测结果无法直接应用于室内定位与位置服务,且现有的定 位系统不具备对多行人目标进行区分与持续跟踪定位的能力。本发明 提供一种基于单目视觉的多行人目标空间连续定位方法及系统,通过 多行人跟踪算法,结合坐标转换模型和多行人跟踪算法,实现单目相 机下的多行人连续跟踪定位。
本发明解决技术问题所采用的技术方案如下:
一种基于单目视觉的多行人目标空间连续定位方法,其中,所述 基于单目视觉的多行人目标空间连续定位方法包括:
预先完成相机的标定,获取相机的内参数和畸变系数值;
训练行人检测模型,并将所述行人检测模型部署于服务器;
在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐 标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外 参数值;
将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界 坐标系的坐标转换模型代码部署于服务器;
将相机获取的实时视频数据传输至服务器;
所述行人检测模型获得视频帧图像数据中行人的足底像素坐标 信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所 述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实 时定位。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所 述预先完成相机的标定,获取相机的内参数和畸变系数值的步骤,包 括:
打印棋盘格图片附于标定板上;
用待标定相机从不同视角和距离拍摄若干张标定板图像;
检测所述标定板中的棋盘格角点;
通过检测所述棋盘格角点的角点值,利用内参数求解模块求得相 机的内参数;
利用畸变系数求解模块求得相机的畸变系数;
通过多张图像对相机内参数和畸变系数进行优化求精。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所 述内参数为与相机自身特性相关的参数,包括相机的焦距和像素大 小。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所 述相机的畸变为相机成像过程中存在的镜头畸变,包括径向畸变和离 心畸变,通过求解两种畸变类型的参数值得到所述畸变系数。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所 述在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标 系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参 数值的步骤,包括:
将标定过的相机布置于室内场景中,最大化覆盖室内空间;
在室内平面上以网格布设若干参考点;
建立室内空间的世界坐标系,选取某参考点为坐标原点;
取得相机获得的一张场景图片,获取参考点的像素坐标值;
将对应参考点的世界坐标值、像素坐标值、相机内参数和畸变系 数值代入外参数求解模块,求得相机外参数值。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所 述参考点个数大于4个。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所 述相机外参数为代表相机在世界坐标系中位置的参数,包括相机的旋 转和平移值。
一种基于单目视觉的多行人目标空间连续定位系统,其中,所述 基于单目视觉的多行人目标空间连续定位系统包括:
标定获取模块,用于预先完成相机的标定,获取相机的内参数和 畸变系数值;
训练部署模块,用于训练行人检测模型,并将所述行人检测模型 部署于服务器;
坐标建立模块,用于在室内场景中布设相机,并建立室内世界坐 标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解 对应场景下的相机外参数值;
代码部署模块,用于将多行人跟踪算法代码和基于单目相机的从 像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
数据传输模块,用于将相机获取的实时视频数据传输至服务器;
实时定位模块,用于所述行人检测模型获得视频帧图像数据中行 人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定 位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值, 完成对多行人的实时定位。
一种基于单目视觉的多行人目标空间连续定位装置,其中,所述 基于单目视觉的多行人目标空间连续定位装置包括如上所述的基于 单目视觉的多行人目标空间连续定位系统,还包括:存储器、处理器 及存储在所述存储器上并可在所述处理器上运行的基于单目视觉的 多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间 连续定位程序被所述处理器执行时实现如上所述的基于单目视觉的 多行人目标空间连续定位方法的步骤。
一种存储介质,其中,所述存储介质存储有基于单目视觉的多行 人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续 定位程序被处理器执行时实现如上所述基于单目视觉的多行人目标 空间连续定位方法的步骤。
本发明通过预先完成相机的标定,获取相机的内参数和畸变系数 值;训练行人检测模型,并将所述行人检测模型部署于服务器;在室 内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上 设立若干参考点,所述参考点用于求解对应场景下的相机外参数值; 将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标 系的坐标转换模型代码部署于服务器;将相机获取的实时视频数据传 输至服务器;所述行人检测模型获得视频帧图像数据中行人的足底像 素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值, 经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
附图说明
图1是本发明基于单目视觉的多行人目标空间连续定位方法的 较佳实施例的流程图;
图2是本发明基于单目视觉的多行人目标空间连续定位方法的 较佳实施例中步骤S10的流程图;
图3是本发明基于单目视觉的多行人目标空间连续定位方法的 较佳实施例中步骤S30的流程图;
图4是本发明基于单目视觉的多行人目标空间连续定位方法的 较佳实施例中坐标系关系示意图;
图5是本发明基于单目视觉的多行人目标空间连续定位方法的 较佳实施例中多行人跟踪算法系统示意图;
图6是本发明基于单目视觉的多行人目标空间连续定位方法的 较佳实施例中定位系统流程图;
图7是本发明基于单目视觉的多行人目标空间连续定位系统的 较佳实施例的原理图;
图8为本发明基于单目视觉的多行人目标空间连续定位装置的 较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照 附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的 具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的基于单目视觉的多行人目标空间连续 定位方法,如图1所示,一种基于单目视觉的多行人目标空间连续定 位方法,其中,所述基于单目视觉的多行人目标空间连续定位方法包 括以下步骤:
步骤S10、预先完成相机的标定,获取相机的内参数和畸变系数 值。
具体的过程请参阅图2,其为本发明提供的基于单目视觉的多行 人目标空间连续定位方法中步骤S10的流程图。
如图2所示,所述步骤S10包括:
S11、打印棋盘格图片附于标定板上;
S12、用待标定相机从不同视角和距离拍摄若干张标定板图像;
S13、检测所述标定板中的棋盘格角点;
S14、通过检测所述棋盘格角点的角点值,利用内参数求解模块 求得相机的内参数;具体地,通过检测角点值,利用opencv提供的 内参数求解模块,求得摄像机的内参数;opencv是一个基于BSD许 可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、 Android和Mac OS操作系统上;
S15、利用畸变系数求解模块求得相机的畸变系数;
S16、通过多张图像对相机内参数和畸变系数进行优化求精。
其中,所述内参数为与相机自身特性相关的参数,包括相机的焦 距和像素大小等。所述相机的畸变为相机成像过程中存在的镜头畸 变,包括径向畸变和离心畸变(大多数情况下考虑两种畸变),通过 求解两种畸变类型的参数值得到所述畸变系数。
步骤S20、训练行人检测模型,并将所述行人检测模型部署于服 务器。
具体地,基于COCO数据集(COCO数据库)通过YOLO v3算法(第 3代目标检测算法,对距离很近的物体或者小物体有很好的鲁棒性) 训练行人检测模型,并将行人检测模型部署于服务器;COCO数据 库是一个大型图像数据集,专为对象检测、分割、人体关键点检测、语义分割和字幕生成而设计。
步骤S30、在室内场景中布设相机,并建立室内世界坐标系,在 平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景 下的相机外参数值。
如图3所示,所述步骤S30包括:
S31、将标定过的相机布置于室内场景中,最大化覆盖室内空间;
S32、在室内平面上以网格布设若干参考点;
S33、建立室内空间的世界坐标系,选取某参考点为坐标原点;
S34、取得相机获得的一张场景图片,获取参考点的像素坐标值;
S35、将对应参考点的世界坐标值、像素坐标值、相机内参数和 畸变系数值代入外参数求解模块,求得相机外参数值。
其中,所述参考点个数大于4个。所述相机外参数为代表相机在 世界坐标系中位置的参数,包括相机的旋转和平移值。
具体地,将标定过的相机布置于室内场景中,使相机能覆盖尽可 能大的室内空间;在室内平面上,例如以2米的网格布设若干参考点, 其中参考点个数大于4个,建立该室内空间的世界坐标系,选取某参 考点为坐标原点,因此,所有的参考点其世界坐标值已知,取得相机 获得的一张场景图片,获取参考点的像素坐标值,将对应参考点的世 界坐标值、像素坐标值、相机内参数和畸变系数值代入opencv提供 的外参数求解模块,求得相机的外参数值。
步骤S40、将多行人跟踪算法代码和基于单目相机的从像素坐标 系至世界坐标系的坐标转换模型代码部署于服务器。
步骤S50、将相机获取的实时视频数据传输至服务器。
步骤S60、所述行人检测模型获得视频帧图像数据中行人的足底 像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标 值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对 多行人的实时定位。
具体地,如图4、图5、图6所示,所述的基于单目相机的从像 素坐标系至世界坐标系的坐标转换模型,其原理如下:
如图4所示,Ow-XwYwZw为世界坐标系,Oc-XcYcZc为相机坐 标系,O-xy为图像坐标系,O0-uv为像素坐标系。其中从相机坐 标系至图像坐标系为透视投影变换,世界坐标系至相机坐标系为刚体 变换。因此,从像素坐标系到世界坐标系的转换关系为式(1):
其中,f、dx、dy、v0和v0由相机(摄像机)内部决定,是相机 的内参数,f代表相机的焦距,dx和dy代表相机成像的每个像素在u和 v轴方向上的物理尺寸,u0和v0代表相机光心的图像原点坐标。而R与 T由相机与世界坐标系之间的相对位置关系决定,R是相机坐标系至 世界坐标系之间的正交单位旋转矩阵,T是相机坐标系至世界坐标系 之间的三维平移向量,称之为相机的外参数。
在室内定位场景中,在建立世界坐标系的时候,选取地平面作为 zw平面。当zw=H,代表距离水平面高H的平面空间,在本发明中定 义为地面高程H。那么,当完成相机的标定工作,即知道相机内外参 数值。此时,已知某像素坐标(u,v),同时已知地面高程H,将zw=H代入式(1)中,可推算得zc=r31xw+r32yw+r33H+t3。为公式的 表示简洁,在此用变量赋值如下:A=r31u-fxr11-u0r31,B=r32u-fxr12-u0r32,C=fxr13+ u0r33-ur33,D=fxt1+(u0-u)t3,E=r31v-fyr21-v0r31,F= r31v-fyr22-v0r32,G=fyr23+v0r33-vr33,I=fyt2+(v0-v)t3,其中A、B、C、D、E、F、G和I在此并无明确的物理意义,仅为了 公式的简洁表达。则有式(2):
将式(2)变换得到式(3):
通过以上公式推导可知,如果能获取地面高程信息,即可完成由 像素坐标至世界坐标的转换。在室内定位场景中,可以设定行人足底 所处平面为地面高程水平面,即zw=H=0,并设行人的足底像素点坐标 (u,v),将其代入式(3)中,那么其对应世界坐标 (xw,yw,H)=((DF-BI)/(AF-BE),(AI-DE)/(AF-BE),0)。因此, 问题转化为如何获取行人足底坐标信息,而在行人检测器中,可以得 到行人足底坐标信息,因此,至此,完成从相机获取的像素坐标至世 界坐标系的转换工作。
所述的多行人跟踪算法,其具体处理如下:
在相机的实时视频数据经过行人检测器处理,产生大量的轨迹点 坐标信息。假设在第k帧检测到n个行人Pk,1,Pk,2,......,Pk,n,,其中Pk,i代表第k帧的第i个行人,在下一帧中检测到行人结果 Pk+1,1,PK+1,2,......,Pk+1,n,行人Pk,i与Pk+1,j的坐标欧氏距离为Cij,由Cij组成的矩阵C称为距离费用矩阵,距离费用矩阵是用来衡量连续 两帧的行人坐标之间相互的距离关系,距离约小,代表匹配度越高, 其中行以此代表第k帧行人坐标,列以此代表第K+1帧行人坐标。行 人之间的匹配关系采用Mij值表示,其中行人Pk,i与Pk+1,j相匹配则用Mij=1表示,行人Pk,i与Pk+1,j不匹配则用Mij=0表示。若Mij=1,则Mix=0 和Myj=0,其中x≠j,y≠i。找出匹配总距离S最少的分配方案。分 配算法具体步骤如下:
第一步,连续两帧距离约束。变换距离费用矩阵C,使得在各行 各列中都出现距离费用为0的元素:从C的每行元素减去该行的最小 距离值,再从所得矩阵的每列元素中减去该列的最小距离值,得到新 等价像素距离费用矩阵C′。
第二步,寻求最优轨迹分配方案:在新距离费用矩阵中,找到距 离费用为0的最少的行或列,圈出其中一个0元素,划掉该0元素所 在行和列存在的其他0元素;重复此步骤,直到矩阵中所有的0元素 都被处理完(圈出或划掉);圈出0元素个数为m。若m等于C的阶 数n,则将圈出的0用1替换,其他元素用0替换,得到的矩阵即为 最优解,值为1所对应的行列关系,即为第k帧和第k+1帧中对应行 人坐标的最优分配;若m<n,进入第三步。
第三步,做最少的直线覆盖所有0元素:对没有圈出0的行打勾, 在已经打勾的行中所含有的所有被划掉的0元素的列打勾,在已经打 勾的列中所含有的有0圈出的行打勾标记;画直线通过没有打勾的行 和有打勾的列,这就覆盖所有0元素的最小直线数,记条数为l。若 l<n,进入第四步,若l=n,返回第三步,变换打勾顺序。
第四步,变换距离费用矩阵C′:在没有被直线覆盖的所有元素中, 找到最小元素,将打勾的各行减去此元素,打勾的各列加上此元素, 跳转到第二步。
当每帧行人目标分配完成,输入当前每个行人分配的检测坐标数 据,使用卡尔曼滤波对轨迹点进行校正更新与预测。并对于以下两种 情况做相关处理:
(1).行人检测器漏检或行人走出相机可视区域。针对此情况, 在跟踪系统中设立两个系统常量:最大检测丢失帧数fmax和最大像素 欧式距离值dmax。当预测值与检测值之间的指派任务完成,处理跟 踪器中不满足要求的异常数据:设预测值和本次检测值之间相隔帧数 为f,预测值和本次检测值之间的像素欧氏距离为d,如果f>fmax或d>dmax,那么认定该行人跟踪丢失,需要重新对此检测值分配新的 行人ID进行跟踪。
(2).当场景中突然新增行人目标或者之前帧连续漏检行人目 标。设在第k帧预测值的坐标数量为n,k+1帧时刻的检测坐标数量 为m,当n<m时,会存在检测值不能被指派到预测值的情况,那么 这些检测值被行人跟踪器作为新的行人目标开始跟踪。
进一步地,如图7所示,基于上述基于单目视觉的多行人目标空 间连续定位方法,本发明还相应提供了一种基于单目视觉的多行人目 标空间连续定位系统,所述基于单目视觉的多行人目标空间连续定位 系统包括:
标定获取模块101,用于预先完成相机的标定,获取相机的内参 数和畸变系数值;
训练部署模块102,用于训练行人检测模型,并将所述行人检测 模型部署于服务器;
坐标建立模块103,用于在室内场景中布设相机,并建立室内世 界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于 求解对应场景下的相机外参数值;
代码部署模块104,用于将多行人跟踪算法代码和基于单目相机 的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
数据传输模块105,用于将相机获取的实时视频数据传输至服务 器;
实时定位模块106,用于所述行人检测模型获得视频帧图像数据 中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像 素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果 值,完成对多行人的实时定位。
进一步地,如图8所示,基于上述基于单目视觉的多行人目标空 间连续定位方法和系统,本发明还相应提供了一种基于单目视觉的多 行人目标空间连续定位装置,所述基于单目视觉的多行人目标空间连 续定位装置包括如上所述的基于单目视觉的多行人目标空间连续定 位系统,还包括处理器10、存储器20及显示器30。图8仅示出了基 于单目视觉的多行人目标空间连续定位装置的部分组件,但是应理解 的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少 的组件。
所述存储器20在一些实施例中可以是所述基于单目视觉的多行 人目标空间连续定位装置的内部存储单元,例如基于单目视觉的多行 人目标空间连续定位装置的硬盘或内存。所述存储器20在另一些实 施例中也可以是所述基于单目视觉的多行人目标空间连续定位装置 的外部存储设备,例如所述基于单目视觉的多行人目标空间连续定位 装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC), 安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进 一步地,所述存储器20还可以既包括所基于单目视觉的多行人目标 空间连续定位装置的内部存储单元也包括外部存储设备。所述存储器 20用于存储安装于所述基于单目视觉的多行人目标空间连续定位装 置的应用软件及各类数据,例如所述安装基于单目视觉的多行人目标 空间连续定位装置的程序代码等。所述存储器20还可以用于暂时地 存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有基于单目视觉的多行人目标空间连续定位程序40,该基于单目 视觉的多行人目标空间连续定位程序40可被处理器10所执行,从而 实现本申请中基于单目视觉的多行人目标空间连续定位方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行 所述存储器20中存储的程序代码或处理数据,例如执行所述基于单 目视觉的多行人目标空间连续定位方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、 触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有 机发光二极管)触摸器等。所述显示器30用于显示在所述基于单目 视觉的多行人目标空间连续定位装置的信息以及用于显示可视化的 用户界面。所述基于单目视觉的多行人目标空间连续定位装置的部件 10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中基于单目视觉 的多行人目标空间连续定位程序40时实现以下步骤:
预先完成相机的标定,获取相机的内参数和畸变系数值;
训练行人检测模型,并将所述行人检测模型部署于服务器;
在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐 标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外 参数值;
将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界 坐标系的坐标转换模型代码部署于服务器;
将相机获取的实时视频数据传输至服务器;
所述行人检测模型获得视频帧图像数据中行人的足底像素坐标 信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所 述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实 时定位。
本发明还提供一种存储介质,其中,所述存储介质存储有基于单 目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人 目标空间连续定位程序被处理器执行时实现所述基于单目视觉的多 行人目标空间连续定位方法的步骤;具体如上所述。
综上所述,本发明提供一种基于单目视觉的多行人目标空间连续 定位方法及系统,所述方法包括:预先完成相机的标定,获取相机的 内参数和畸变系数值;训练行人检测模型,并将所述行人检测模型部 署于服务器;在室内场景中布设相机,并建立室内世界坐标系,在平 面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下 的相机外参数值;将多行人跟踪算法代码和基于单目相机的从像素坐 标系至世界坐标系的坐标转换模型代码部署于服务器;将相机获取的 实时视频数据传输至服务器;所述行人检测模型获得视频帧图像数据 中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像 素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果 值,完成对多行人的实时定位。本发明通过多行人跟踪算法,结合坐 标转换模型和多行人跟踪算法,实现单目相机下的多行人连续跟踪定 位。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全 部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器, 控制器等)来完成,所述的程序可存储于一计算机可读取的存储介质 中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述 的存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通 技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和 变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述基于单目视觉的多行人目标空间连续定位方法包括:
预先完成相机的标定,获取相机的内参数和畸变系数值;
训练行人检测模型,并将所述行人检测模型部署于服务器;
在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
将相机获取的实时视频数据传输至服务器;
所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
2.根据权利要求1所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述预先完成相机的标定,获取相机的内参数和畸变系数值的步骤,包括:
打印棋盘格图片附于标定板上;
用待标定相机从不同视角和距离拍摄若干张标定板图像;
检测所述标定板中的棋盘格角点;
通过检测所述棋盘格角点的角点值,利用内参数求解模块求得相机的内参数;
利用畸变系数求解模块求得相机的畸变系数;
通过多张图像对相机内参数和畸变系数进行优化求精。
3.根据权利要求2所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述内参数为与相机自身特性相关的参数,包括相机的焦距和像素大小。
4.根据权利要求2所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述相机的畸变为相机成像过程中存在的镜头畸变,包括径向畸变和离心畸变,通过求解两种畸变类型的参数值得到所述畸变系数。
5.根据权利要求1所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值的步骤,包括:
将标定过的相机布置于室内场景中,最大化覆盖室内空间;
在室内平面上以网格布设若干参考点;
建立室内空间的世界坐标系,选取某参考点为坐标原点;
取得相机获得的一张场景图片,获取参考点的像素坐标值;
将对应参考点的世界坐标值、像素坐标值、相机内参数和畸变系数值代入外参数求解模块,求得相机外参数值。
6.根据权利要求5所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述参考点个数大于4个。
7.根据权利要求5所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述相机外参数为代表相机在世界坐标系中位置的参数,包括相机的旋转和平移值。
8.一种基于单目视觉的多行人目标空间连续定位系统,其特征在于,所述基于单目视觉的多行人目标空间连续定位系统包括:
标定获取模块,用于预先完成相机的标定,获取相机的内参数和畸变系数值;
训练部署模块,用于训练行人检测模型,并将所述行人检测模型部署于服务器;
坐标建立模块,用于在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
代码部署模块,用于将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
数据传输模块,用于将相机获取的实时视频数据传输至服务器;
实时定位模块,用于所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
9.一种基于单目视觉的多行人目标空间连续定位装置,其特征在于,所述基于单目视觉的多行人目标空间连续定位装置包括如权利要求8所述的基于单目视觉的多行人目标空间连续定位系统,还包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被所述处理器执行时实现如权利要求1-7任一项所述的基于单目视觉的多行人目标空间连续定位方法的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被处理器执行时实现如权利要求1-7任一项所述基于单目视觉的多行人目标空间连续定位方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910436035.2A CN110619662B (zh) | 2019-05-23 | 2019-05-23 | 一种基于单目视觉的多行人目标空间连续定位方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910436035.2A CN110619662B (zh) | 2019-05-23 | 2019-05-23 | 一种基于单目视觉的多行人目标空间连续定位方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110619662A true CN110619662A (zh) | 2019-12-27 |
CN110619662B CN110619662B (zh) | 2023-01-03 |
Family
ID=68921270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910436035.2A Active CN110619662B (zh) | 2019-05-23 | 2019-05-23 | 一种基于单目视觉的多行人目标空间连续定位方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110619662B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111192323A (zh) * | 2020-04-10 | 2020-05-22 | 支付宝(杭州)信息技术有限公司 | 基于图像的对象定位方法及装置 |
CN111199556A (zh) * | 2019-12-31 | 2020-05-26 | 同济大学 | 基于摄像头的室内行人检测和跟踪方法 |
CN112258571A (zh) * | 2020-09-25 | 2021-01-22 | 上海数川数据科技有限公司 | 一种基于单目视觉的室内行人定位方法 |
CN112580426A (zh) * | 2020-10-30 | 2021-03-30 | 江苏集萃未来城市应用技术研究所有限公司 | 一种基于单目视觉的室外人员动态跟踪定位方法 |
CN112634329A (zh) * | 2020-12-26 | 2021-04-09 | 西安电子科技大学 | 一种基于时空与或图的场景目标活动预测方法及装置 |
CN112667832A (zh) * | 2020-12-31 | 2021-04-16 | 哈尔滨工业大学 | 一种未知室内环境下基于视觉的互定位方法 |
CN112945207A (zh) * | 2021-02-24 | 2021-06-11 | 上海商汤临港智能科技有限公司 | 目标定位方法及装置、电子设备和存储介质 |
CN113256731A (zh) * | 2021-04-01 | 2021-08-13 | 深圳市宁创云软件技术有限公司 | 基于单目视觉的目标检测方法及装置 |
CN113696178A (zh) * | 2021-07-29 | 2021-11-26 | 大箴(杭州)科技有限公司 | 一种机器人智能抓取的控制方法及系统、介质、设备 |
CN113840228A (zh) * | 2021-08-25 | 2021-12-24 | 北京航空航天大学杭州创新研究院 | 一种基于定位匹配的行人室内定位方法 |
CN113870351A (zh) * | 2021-09-28 | 2021-12-31 | 武汉大学 | 基于单目视觉的室内大场景行人指纹定位方法 |
CN114820799A (zh) * | 2022-06-24 | 2022-07-29 | 南开大学 | 一种用于行人位置估计的数据自动标注方法、装置及系统 |
CN115201883A (zh) * | 2022-05-20 | 2022-10-18 | 北京航天时代光电科技有限公司 | 一种运动目标视频定位测速系统及方法 |
CN115578470A (zh) * | 2022-09-22 | 2023-01-06 | 虹软科技股份有限公司 | 一种单目视觉定位方法、装置、存储介质和电子设备 |
CN113870351B (zh) * | 2021-09-28 | 2024-09-27 | 武汉大学 | 基于单目视觉的室内大场景行人指纹定位方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236505A (ja) * | 2000-02-22 | 2001-08-31 | Atsushi Kuroda | 座標推定方法、座標推定装置および座標推定システム |
US20120020518A1 (en) * | 2009-02-24 | 2012-01-26 | Shinya Taguchi | Person tracking device and person tracking program |
CN102479386A (zh) * | 2010-11-24 | 2012-05-30 | 湘潭大学 | 基于单目视频的人体上半身三维运动跟踪方法 |
CN107635204A (zh) * | 2017-09-27 | 2018-01-26 | 深圳大学 | 一种运动行为辅助的室内融合定位方法及装置、存储介质 |
CN109087353A (zh) * | 2018-08-20 | 2018-12-25 | 四川超影科技有限公司 | 基于机器视觉的室内人员定位方法 |
-
2019
- 2019-05-23 CN CN201910436035.2A patent/CN110619662B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001236505A (ja) * | 2000-02-22 | 2001-08-31 | Atsushi Kuroda | 座標推定方法、座標推定装置および座標推定システム |
US20120020518A1 (en) * | 2009-02-24 | 2012-01-26 | Shinya Taguchi | Person tracking device and person tracking program |
CN102479386A (zh) * | 2010-11-24 | 2012-05-30 | 湘潭大学 | 基于单目视频的人体上半身三维运动跟踪方法 |
CN107635204A (zh) * | 2017-09-27 | 2018-01-26 | 深圳大学 | 一种运动行为辅助的室内融合定位方法及装置、存储介质 |
CN109087353A (zh) * | 2018-08-20 | 2018-12-25 | 四川超影科技有限公司 | 基于机器视觉的室内人员定位方法 |
Non-Patent Citations (2)
Title |
---|
韩光星等: "基于多模型检测的视频监控行人跟踪算法", 《华中科技大学学报(自然科学版)》 * |
黄海飞: "遮挡场景下基于单目视觉的室内行人定位算法优化及实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111199556A (zh) * | 2019-12-31 | 2020-05-26 | 同济大学 | 基于摄像头的室内行人检测和跟踪方法 |
CN111199556B (zh) * | 2019-12-31 | 2023-07-04 | 同济大学 | 基于摄像头的室内行人检测和跟踪方法 |
CN111192323A (zh) * | 2020-04-10 | 2020-05-22 | 支付宝(杭州)信息技术有限公司 | 基于图像的对象定位方法及装置 |
CN112258571A (zh) * | 2020-09-25 | 2021-01-22 | 上海数川数据科技有限公司 | 一种基于单目视觉的室内行人定位方法 |
CN112258571B (zh) * | 2020-09-25 | 2023-05-30 | 上海数川数据科技有限公司 | 一种基于单目视觉的室内行人定位方法 |
CN112580426A (zh) * | 2020-10-30 | 2021-03-30 | 江苏集萃未来城市应用技术研究所有限公司 | 一种基于单目视觉的室外人员动态跟踪定位方法 |
CN112634329A (zh) * | 2020-12-26 | 2021-04-09 | 西安电子科技大学 | 一种基于时空与或图的场景目标活动预测方法及装置 |
CN112634329B (zh) * | 2020-12-26 | 2024-02-13 | 西安电子科技大学 | 一种基于时空与或图的场景目标活动预测方法及装置 |
CN112667832A (zh) * | 2020-12-31 | 2021-04-16 | 哈尔滨工业大学 | 一种未知室内环境下基于视觉的互定位方法 |
CN112667832B (zh) * | 2020-12-31 | 2022-05-13 | 哈尔滨工业大学 | 一种未知室内环境下基于视觉的互定位方法 |
CN112945207A (zh) * | 2021-02-24 | 2021-06-11 | 上海商汤临港智能科技有限公司 | 目标定位方法及装置、电子设备和存储介质 |
CN113256731A (zh) * | 2021-04-01 | 2021-08-13 | 深圳市宁创云软件技术有限公司 | 基于单目视觉的目标检测方法及装置 |
CN113696178A (zh) * | 2021-07-29 | 2021-11-26 | 大箴(杭州)科技有限公司 | 一种机器人智能抓取的控制方法及系统、介质、设备 |
CN113840228A (zh) * | 2021-08-25 | 2021-12-24 | 北京航空航天大学杭州创新研究院 | 一种基于定位匹配的行人室内定位方法 |
CN113840228B (zh) * | 2021-08-25 | 2024-04-02 | 北京航空航天大学杭州创新研究院 | 一种基于定位匹配的行人室内定位方法 |
CN113870351A (zh) * | 2021-09-28 | 2021-12-31 | 武汉大学 | 基于单目视觉的室内大场景行人指纹定位方法 |
CN113870351B (zh) * | 2021-09-28 | 2024-09-27 | 武汉大学 | 基于单目视觉的室内大场景行人指纹定位方法 |
CN115201883A (zh) * | 2022-05-20 | 2022-10-18 | 北京航天时代光电科技有限公司 | 一种运动目标视频定位测速系统及方法 |
CN114820799B (zh) * | 2022-06-24 | 2022-09-16 | 南开大学 | 一种用于行人位置估计的数据自动标注方法、装置及系统 |
CN114820799A (zh) * | 2022-06-24 | 2022-07-29 | 南开大学 | 一种用于行人位置估计的数据自动标注方法、装置及系统 |
CN115578470A (zh) * | 2022-09-22 | 2023-01-06 | 虹软科技股份有限公司 | 一种单目视觉定位方法、装置、存储介质和电子设备 |
CN115578470B (zh) * | 2022-09-22 | 2024-06-07 | 虹软科技股份有限公司 | 一种单目视觉定位方法、装置、存储介质和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110619662B (zh) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110619662B (zh) | 一种基于单目视觉的多行人目标空间连续定位方法及系统 | |
US10650546B2 (en) | Method of providing a descriptor for at least one feature of an image and method of matching features | |
JP6237326B2 (ja) | 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム | |
US10083522B2 (en) | Image based measurement system | |
US20180276241A1 (en) | System and method for telecom inventory management | |
US9282326B2 (en) | Interactive camera calibration tool | |
US9519968B2 (en) | Calibrating visual sensors using homography operators | |
KR101595537B1 (ko) | 국부화된 세그먼트화 이미지들의 네트워크 캡처 및 3d 디스플레이 | |
Lee et al. | Low-cost 3D motion capture system using passive optical markers and monocular vision | |
US20090213224A1 (en) | Fast Imaging System Calibration | |
CN105989603A (zh) | 机器视觉图像传感器校准 | |
CN110163025A (zh) | 二维码定位方法及装置 | |
CN111383252B (zh) | 多相机目标追踪方法、系统、装置及存储介质 | |
KR20140135116A (ko) | Tiled Display에서 3D 영상을 보정하는 방법 및 장치 | |
CN110598571A (zh) | 活体检测方法、装置及计算机可读存储介质 | |
CN112509058B (zh) | 外参的计算方法、装置、电子设备和存储介质 | |
US20150254854A1 (en) | Camera calibration method and apparatus using a color-coded structure | |
McIlroy et al. | Kinectrack: 3d pose estimation using a projected dense dot pattern | |
CN106791498B (zh) | 图像定位方法、透镜阵列成像方法及装置 | |
CN111223139B (zh) | 目标定位方法及终端设备 | |
CN106713707B (zh) | 透镜阵列成像方法及装置 | |
CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
CN116071562A (zh) | 一种植物种子识别方法、装置、电子设备及存储介质 | |
Kehl et al. | Direct image-to-geometry registration using mobile sensor data | |
CN116433769B (zh) | 空间校准方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |