CN110619662B - 一种基于单目视觉的多行人目标空间连续定位方法及系统 - Google Patents

一种基于单目视觉的多行人目标空间连续定位方法及系统 Download PDF

Info

Publication number
CN110619662B
CN110619662B CN201910436035.2A CN201910436035A CN110619662B CN 110619662 B CN110619662 B CN 110619662B CN 201910436035 A CN201910436035 A CN 201910436035A CN 110619662 B CN110619662 B CN 110619662B
Authority
CN
China
Prior art keywords
pedestrian
camera
coordinate system
pixel
target space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910436035.2A
Other languages
English (en)
Other versions
CN110619662A (zh
Inventor
张星
孙龙培
李清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910436035.2A priority Critical patent/CN110619662B/zh
Publication of CN110619662A publication Critical patent/CN110619662A/zh
Application granted granted Critical
Publication of CN110619662B publication Critical patent/CN110619662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于单目视觉的多行人目标空间连续定位方法及系统,完成相机的标定,获取相机内参数和畸变系数值;训练行人检测模型并部署于服务器;在室内场景中布设相机并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点用于求解对应场景下的相机外参数值;将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;将相机获取的实时视频数据传输至服务器;行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,多行人跟踪算法获得每个行人的像素定位坐标值,经过坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。本发明实现了单目相机下的多行人连续跟踪定位。

Description

一种基于单目视觉的多行人目标空间连续定位方法及系统
技术领域
本发明涉及室内定位技术领域,尤其涉及一种基于单目视觉的多行人目标空间连续定位方法、系统、装置及存储介质。
背景技术
室内定位场景下的行人精确定位是诸多应用领域共同面对的关键问题,现有主流的室内定位技术要求大量的数据采集(如WIFI位置指纹)或布设基础设施(如蓝牙),普及难度较大。
目前,大型公共场景安装有大量摄像头设备,其采集的视觉数据(视频)是一种感知室内行人活动的潜在数据源,然而目前基于视觉的行人检测技术侧重于行人识别与分类,并未考虑行人的空间精确定位,其检测结果是屏幕坐标系下的行人位置,而非描述行人真实空间位置信息的世界坐标系坐标,无法直接应用于室内定位与位置服务,此外,大型公共场所内行人众多,定位系统还不具备对多行人目标进行区分与持续跟踪定位的能力。
因此,现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于:现有技术中摄像头设备采集的视频数据的检测结果无法直接应用于室内定位与位置服务,且现有的定位系统不具备对多行人目标进行区分与持续跟踪定位的能力。本发明提供一种基于单目视觉的多行人目标空间连续定位方法及系统,通过多行人跟踪算法,结合坐标转换模型和多行人跟踪算法,实现单目相机下的多行人连续跟踪定位。
本发明解决技术问题所采用的技术方案如下:
一种基于单目视觉的多行人目标空间连续定位方法,其中,所述基于单目视觉的多行人目标空间连续定位方法包括:
预先完成相机的标定,获取相机的内参数和畸变系数值;
训练行人检测模型,并将所述行人检测模型部署于服务器;
在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
将相机获取的实时视频数据传输至服务器;
所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所述预先完成相机的标定,获取相机的内参数和畸变系数值的步骤,包括:
打印棋盘格图片附于标定板上;
用待标定相机从不同视角和距离拍摄若干张标定板图像;
检测所述标定板中的棋盘格角点;
通过检测所述棋盘格角点的角点值,利用内参数求解模块求得相机的内参数;
利用畸变系数求解模块求得相机的畸变系数;
通过多张图像对相机内参数和畸变系数进行优化求精。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所述内参数为与相机自身特性相关的参数,包括相机的焦距和像素大小。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所述相机的畸变为相机成像过程中存在的镜头畸变,包括径向畸变和离心畸变,通过求解两种畸变类型的参数值得到所述畸变系数。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所述在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值的步骤,包括:
将标定过的相机布置于室内场景中,最大化覆盖室内空间;
在室内平面上以网格布设若干参考点;
建立室内空间的世界坐标系,选取某参考点为坐标原点;
取得相机获得的一张场景图片,获取参考点的像素坐标值;
将对应参考点的世界坐标值、像素坐标值、相机内参数和畸变系数值代入外参数求解模块,求得相机外参数值。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所述参考点个数大于4个。
所述的基于单目视觉的多行人目标空间连续定位方法,其中,所述相机外参数为代表相机在世界坐标系中位置的参数,包括相机的旋转和平移值。
一种基于单目视觉的多行人目标空间连续定位系统,其中,所述基于单目视觉的多行人目标空间连续定位系统包括:
标定获取模块,用于预先完成相机的标定,获取相机的内参数和畸变系数值;
训练部署模块,用于训练行人检测模型,并将所述行人检测模型部署于服务器;
坐标建立模块,用于在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
代码部署模块,用于将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
数据传输模块,用于将相机获取的实时视频数据传输至服务器;
实时定位模块,用于所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
一种基于单目视觉的多行人目标空间连续定位装置,其中,所述基于单目视觉的多行人目标空间连续定位装置包括如上所述的基于单目视觉的多行人目标空间连续定位系统,还包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被所述处理器执行时实现如上所述的基于单目视觉的多行人目标空间连续定位方法的步骤。
一种存储介质,其中,所述存储介质存储有基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被处理器执行时实现如上所述基于单目视觉的多行人目标空间连续定位方法的步骤。
本发明通过预先完成相机的标定,获取相机的内参数和畸变系数值;训练行人检测模型,并将所述行人检测模型部署于服务器;在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;将相机获取的实时视频数据传输至服务器;所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
附图说明
图1是本发明基于单目视觉的多行人目标空间连续定位方法的较佳实施例的流程图;
图2是本发明基于单目视觉的多行人目标空间连续定位方法的较佳实施例中步骤S10的流程图;
图3是本发明基于单目视觉的多行人目标空间连续定位方法的较佳实施例中步骤S30的流程图;
图4是本发明基于单目视觉的多行人目标空间连续定位方法的较佳实施例中坐标系关系示意图;
图5是本发明基于单目视觉的多行人目标空间连续定位方法的较佳实施例中多行人跟踪算法系统示意图;
图6是本发明基于单目视觉的多行人目标空间连续定位方法的较佳实施例中定位系统流程图;
图7是本发明基于单目视觉的多行人目标空间连续定位系统的较佳实施例的原理图;
图8为本发明基于单目视觉的多行人目标空间连续定位装置的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明较佳实施例所述的基于单目视觉的多行人目标空间连续定位方法,如图1所示,一种基于单目视觉的多行人目标空间连续定位方法,其中,所述基于单目视觉的多行人目标空间连续定位方法包括以下步骤:
步骤S10、预先完成相机的标定,获取相机的内参数和畸变系数值。
具体的过程请参阅图2,其为本发明提供的基于单目视觉的多行人目标空间连续定位方法中步骤S10的流程图。
如图2所示,所述步骤S10包括:
S11、打印棋盘格图片附于标定板上;
S12、用待标定相机从不同视角和距离拍摄若干张标定板图像;
S13、检测所述标定板中的棋盘格角点;
S14、通过检测所述棋盘格角点的角点值,利用内参数求解模块求得相机的内参数;具体地,通过检测角点值,利用opencv提供的内参数求解模块,求得摄像机的内参数;opencv是一个基于BSD许可(开源)发行的跨平台计算机视觉库,可以运行在Linux、Windows、Android和Mac OS操作系统上;
S15、利用畸变系数求解模块求得相机的畸变系数;
S16、通过多张图像对相机内参数和畸变系数进行优化求精。
其中,所述内参数为与相机自身特性相关的参数,包括相机的焦距和像素大小等。所述相机的畸变为相机成像过程中存在的镜头畸变,包括径向畸变和离心畸变(大多数情况下考虑两种畸变),通过求解两种畸变类型的参数值得到所述畸变系数。
步骤S20、训练行人检测模型,并将所述行人检测模型部署于服务器。
具体地,基于COCO数据集(COCO数据库)通过YOLO v3算法(第3代目标检测算法,对距离很近的物体或者小物体有很好的鲁棒性)训练行人检测模型,并将行人检测模型部署于服务器;COCO数据库是一个大型图像数据集,专为对象检测、分割、人体关键点检测、语义分割和字幕生成而设计。
步骤S30、在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值。
如图3所示,所述步骤S30包括:
S31、将标定过的相机布置于室内场景中,最大化覆盖室内空间;
S32、在室内平面上以网格布设若干参考点;
S33、建立室内空间的世界坐标系,选取某参考点为坐标原点;
S34、取得相机获得的一张场景图片,获取参考点的像素坐标值;
S35、将对应参考点的世界坐标值、像素坐标值、相机内参数和畸变系数值代入外参数求解模块,求得相机外参数值。
其中,所述参考点个数大于4个。所述相机外参数为代表相机在世界坐标系中位置的参数,包括相机的旋转和平移值。
具体地,将标定过的相机布置于室内场景中,使相机能覆盖尽可能大的室内空间;在室内平面上,例如以2米的网格布设若干参考点,其中参考点个数大于4个,建立该室内空间的世界坐标系,选取某参考点为坐标原点,因此,所有的参考点其世界坐标值已知,取得相机获得的一张场景图片,获取参考点的像素坐标值,将对应参考点的世界坐标值、像素坐标值、相机内参数和畸变系数值代入opencv提供的外参数求解模块,求得相机的外参数值。
步骤S40、将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器。
步骤S50、将相机获取的实时视频数据传输至服务器。
步骤S60、所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
具体地,如图4、图5、图6所示,所述的基于单目相机的从像素坐标系至世界坐标系的坐标转换模型,其原理如下:
如图4所示,Ow-XwYwZw为世界坐标系,Oc-XcYcZc为相机坐标系,O-xy为图像坐标系,O0-uv为像素坐标系。其中从相机坐标系至图像坐标系为透视投影变换,世界坐标系至相机坐标系为刚体变换。因此,从像素坐标系到世界坐标系的转换关系为式(1):
Figure GDA0002280266920000101
其中,f、dx、dy、u0和v0由相机(摄像机)内部决定,是相机的内参数,f代表相机的焦距,dx和dy代表相机成像的每个像素在u和v轴方向上的物理尺寸,u0和v0代表相机光心的图像原点坐标。而R与T由相机与世界坐标系之间的相对位置关系决定,R是相机坐标系至世界坐标系之间的正交单位旋转矩阵,T是相机坐标系至世界坐标系之间的三维平移向量,称之为相机的外参数。
在室内定位场景中,在建立世界坐标系的时候,选取地平面作为zw平面。当zw=H,代表距离水平面高H的平面空间,在本发明中定义为地面高程H。那么,当完成相机的标定工作,即知道相机内外参数值。此时,已知某像素坐标(u,v),同时已知地面高程H,将zw=H代入式(1)中,可推算得zc=r31xw+r32yw+r33H+t3。为公式的表示简洁,在此用变量赋值如下:A=r31u-fxr11-u0r31,B=r32u-fxr12-u0r32,C=fxr13+u0r33-ur33,D=fxt1+(uo-u)t3,E=r31v-fyr21-v0r31,F=r31v-fyr22-v0r32,G=fyr23+v0r33-vr33,I=fyt2+(v0-v)t3,其中A、B、C、D、E、F、G和I在此并无明确的物理意义,仅为了公式的简洁表达。则有式(2):
Axw+Byw=CH+D
(2)
Exw+Fyw=GH+I
将式(2)变换得到式(3):
Figure GDA0002280266920000111
通过以上公式推导可知,如果能获取地面高程信息,即可完成由像素坐标至世界坐标的转换。在室内定位场景中,可以设定行人足底所处平面为地面高程水平面,即zw=H=0,并设行人的足底像素点坐标(u,V),将其代入式(3)中,那么其对应世界坐标(xw,yw,H)=((DF-BI)/(AF-BE),(AI-DE)/(AF-BE),0)。因此,问题转化为如何获取行人足底坐标信息,而在行人检测器中,可以得到行人足底坐标信息,因此,至此,完成从相机获取的像素坐标至世界坐标系的转换工作。
所述的多行人跟踪算法,其具体处理如下:
在相机的实时视频数据经过行人检测器处理,产生大量的轨迹点坐标信息。假设在第k帧检测到n个行人Pk,1,Pk,2,......,Pk,n,,其中Pk,i代表第k帧的第i个行人,在下一帧中检测到行人结果Pk+1,1,PK+1,2,......,Pk+1,n,行人Pk,i与Pk+1,j的坐标欧氏距离为Cij,由Cij组成的矩阵C称为距离费用矩阵,距离费用矩阵是用来衡量连续两帧的行人坐标之间相互的距离关系,距离约小,代表匹配度越高,其中行以此代表第k帧行人坐标,列以此代表第K+1帧行人坐标。行人之间的匹配关系采用Mij值表示,其中行人Pk,i与Pk+1,j相匹配则用Mij=1表示,行人Pk,i与Pk+1,j不匹配则用Mij=0表示。若Mij=1,则Mix=0和Myj=0,其中x≠j,y≠i。找出匹配总距离S最少的分配方案。分配算法具体步骤如下:
第一步,连续两帧距离约束。变换距离费用矩阵C,使得在各行各列中都出现距离费用为0的元素:从C的每行元素减去该行的最小距离值,再从所得矩阵的每列元素中减去该列的最小距离值,得到新等价像素距离费用矩阵C′。
第二步,寻求最优轨迹分配方案:在新距离费用矩阵中,找到距离费用为0的最少的行或列,圈出其中一个0元素,划掉该0元素所在行和列存在的其他0元素;重复此步骤,直到矩阵中所有的0元素都被处理完(圈出或划掉);圈出0元素个数为m。若m等于C的阶数n,则将圈出的0用1替换,其他元素用0替换,得到的矩阵即为最优解,值为1所对应的行列关系,即为第k帧和第k+1帧中对应行人坐标的最优分配;若m<n,进入第三步。
第三步,做最少的直线覆盖所有0元素:对没有圈出0的行打勾,在已经打勾的行中所含有的所有被划掉的0元素的列打勾,在已经打勾的列中所含有的有0圈出的行打勾标记;画直线通过没有打勾的行和有打勾的列,这就覆盖所有0元素的最小直线数,记条数为l。若l<n,进入第四步,若l=n,返回第三步,变换打勾顺序。
第四步,变换距离费用矩阵C′:在没有被直线覆盖的所有元素中,找到最小元素,将打勾的各行减去此元素,打勾的各列加上此元素,跳转到第二步。
当每帧行人目标分配完成,输入当前每个行人分配的检测坐标数据,使用卡尔曼滤波对轨迹点进行校正更新与预测。并对于以下两种情况做相关处理:
(1).行人检测器漏检或行人走出相机可视区域。针对此情况,在跟踪系统中设立两个系统常量:最大检测丢失帧数fmax和最大像素欧式距离值dmax。当预测值与检测值之间的指派任务完成,处理跟踪器中不满足要求的异常数据:设预测值和本次检测值之间相隔帧数为f,预测值和本次检测值之间的像素欧氏距离为d,如果f>fmax或d>dmax,那么认定该行人跟踪丢失,需要重新对此检测值分配新的行人ID进行跟踪。
(2).当场景中突然新增行人目标或者之前帧连续漏检行人目标。设在第k帧预测值的坐标数量为n,k+1帧时刻的检测坐标数量为m,当n<m时,会存在检测值不能被指派到预测值的情况,那么这些检测值被行人跟踪器作为新的行人目标开始跟踪。
进一步地,如图7所示,基于上述基于单目视觉的多行人目标空间连续定位方法,本发明还相应提供了一种基于单目视觉的多行人目标空间连续定位系统,所述基于单目视觉的多行人目标空间连续定位系统包括:
标定获取模块101,用于预先完成相机的标定,获取相机的内参数和畸变系数值;
训练部署模块102,用于训练行人检测模型,并将所述行人检测模型部署于服务器;
坐标建立模块103,用于在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
代码部署模块104,用于将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
数据传输模块105,用于将相机获取的实时视频数据传输至服务器;
实时定位模块106,用于所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
进一步地,如图8所示,基于上述基于单目视觉的多行人目标空间连续定位方法和系统,本发明还相应提供了一种基于单目视觉的多行人目标空间连续定位装置,所述基于单目视觉的多行人目标空间连续定位装置包括如上所述的基于单目视觉的多行人目标空间连续定位系统,还包括处理器10、存储器20及显示器30。图8仅示出了基于单目视觉的多行人目标空间连续定位装置的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述基于单目视觉的多行人目标空间连续定位装置的内部存储单元,例如基于单目视觉的多行人目标空间连续定位装置的硬盘或内存。所述存储器20在另一些实施例中也可以是所述基于单目视觉的多行人目标空间连续定位装置的外部存储设备,例如所述基于单目视觉的多行人目标空间连续定位装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器20还可以既包括所基于单目视觉的多行人目标空间连续定位装置的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述基于单目视觉的多行人目标空间连续定位装置的应用软件及各类数据,例如所述安装基于单目视觉的多行人目标空间连续定位装置的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中,存储器20上存储有基于单目视觉的多行人目标空间连续定位程序40,该基于单目视觉的多行人目标空间连续定位程序40可被处理器10所执行,从而实现本申请中基于单目视觉的多行人目标空间连续定位方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行所述存储器20中存储的程序代码或处理数据,例如执行所述基于单目视觉的多行人目标空间连续定位方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。所述显示器30用于显示在所述基于单目视觉的多行人目标空间连续定位装置的信息以及用于显示可视化的用户界面。所述基于单目视觉的多行人目标空间连续定位装置的部件10-30通过系统总线相互通信。
在一实施例中,当处理器10执行所述存储器20中基于单目视觉的多行人目标空间连续定位程序40时实现以下步骤:
预先完成相机的标定,获取相机的内参数和畸变系数值;
训练行人检测模型,并将所述行人检测模型部署于服务器;
在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
将相机获取的实时视频数据传输至服务器;
所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。
本发明还提供一种存储介质,其中,所述存储介质存储有基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被处理器执行时实现所述基于单目视觉的多行人目标空间连续定位方法的步骤;具体如上所述。
综上所述,本发明提供一种基于单目视觉的多行人目标空间连续定位方法及系统,所述方法包括:预先完成相机的标定,获取相机的内参数和畸变系数值;训练行人检测模型,并将所述行人检测模型部署于服务器;在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;将相机获取的实时视频数据传输至服务器;所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标变换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位。本发明通过多行人跟踪算法,结合坐标转换模型和多行人跟踪算法,实现单目相机下的多行人连续跟踪定位。
当然,本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关硬件(如处理器,控制器等)来完成,所述的程序可存储于一计算机可读取的存储介质中,所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述基于单目视觉的多行人目标空间连续定位方法包括:
预先完成相机的标定,获取相机的内参数和畸变系数值;
训练行人检测模型,并将所述行人检测模型部署于服务器;
在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
将相机获取的实时视频数据传输至服务器;
所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标转 换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位;
获取地面高程信息,完成由像素坐标至世界坐标的转换转化为获取行人足底坐标信息,完成由像素坐标至世界坐标的转换;
当每帧行人目标分配完成,输入当前每个行人分配的检测坐标数据,使用卡尔曼滤波对轨迹点进行校正更新与预测;
当预测值和检测值之间相隔帧数大于最大检测丢失帧数或像素欧氏距离大于最大像素欧式距离值,则判定行人检测器漏检或行人走出相机可视区域;
当行人检测器漏检或行人走出相机可视区域,判定行人检测器漏检或走出相机可视区域的行人跟踪丢失,则重新分配新的行人ID进行跟踪;
当场景中突然新增行人目标或之前帧连续漏检行人目标,检测值无法被指派到预测值的情况时,所述检测值被行人跟踪器作为新的行人目标开始跟踪。
2.根据权利要求1所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述预先完成相机的标定,获取相机的内参数和畸变系数值的步骤,包括:
打印棋盘格图片附于标定板上;
用待标定相机从不同视角和距离拍摄若干张标定板图像;
检测所述标定板中的棋盘格角点;
通过检测所述棋盘格角点的角点值,利用内参数求解模块求得相机的内参数;
利用畸变系数求解模块求得相机的畸变系数;
通过多张图像对相机内参数和畸变系数进行优化求精。
3.根据权利要求2所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述内参数为与相机自身特性相关的参数,包括相机的焦距和像素大小。
4.根据权利要求2所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述相机的畸变为相机成像过程中存在的镜头畸变,包括径向畸变和离心畸变,通过求解两种畸变类型的参数值得到所述畸变系数。
5.根据权利要求1所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值的步骤,包括:
将标定过的相机布置于室内场景中,最大化覆盖室内空间;
在室内平面上以网格布设若干参考点;
建立室内空间的世界坐标系,选取某参考点为坐标原点;
取得相机获得的一张场景图片,获取参考点的像素坐标值;
将对应参考点的世界坐标值、像素坐标值、相机内参数和畸变系数值代入外参数求解模块,求得相机外参数值。
6.根据权利要求5所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述参考点个数大于4个。
7.根据权利要求5所述的基于单目视觉的多行人目标空间连续定位方法,其特征在于,所述相机外参数为代表相机在世界坐标系中位置的参数,包括相机的旋转和平移值。
8.一种基于单目视觉的多行人目标空间连续定位系统,其特征在于,所述基于单目视觉的多行人目标空间连续定位系统包括:
标定获取模块,用于预先完成相机的标定,获取相机的内参数和畸变系数值;
训练部署模块,用于训练行人检测模型,并将所述行人检测模型部署于服务器;
坐标建立模块,用于在室内场景中布设相机,并建立室内世界坐标系,在平面直角坐标系统上设立若干参考点,所述参考点用于求解对应场景下的相机外参数值;
代码部署模块,用于将多行人跟踪算法代码和基于单目相机的从像素坐标系至世界坐标系的坐标转换模型代码部署于服务器;
数据传输模块,用于将相机获取的实时视频数据传输至服务器;
实时定位模块,用于所述行人检测模型获得视频帧图像数据中行人的足底像素坐标信息,所述多行人跟踪算法获得每个行人的像素定位坐标值,经过所述坐标转 换模型得到各行人的世界坐标系结果值,完成对多行人的实时定位;
获取地面高程信息,完成由像素坐标至世界坐标的转换转化为获取行人足底坐标信息,完成由像素坐标至世界坐标的转换;
当每帧行人目标分配完成,输入当前每个行人分配的检测坐标数据,使用卡尔曼滤波对轨迹点进行校正更新与预测;
当预测值和检测值之间相隔帧数大于最大检测丢失帧数或像素欧氏距离大于最大像素欧式距离值,则判定行人检测器漏检或行人走出相机可视区域;
当行人检测器漏检或行人走出相机可视区域,判定行人检测器漏检或走出相机可视区域的行人跟踪丢失,则重新分配新的行人ID进行跟踪;
当场景中突然新增行人目标或之前帧连续漏检行人目标,检测值无法被指派到预测值的情况时,所述检测值被行人跟踪器作为新的行人目标开始跟踪。
9.一种基于单目视觉的多行人目标空间连续定位装置,其特征在于,所述基于单目视觉的多行人目标空间连续定位装置包括如权利要求8所述的基于单目视觉的多行人目标空间连续定位系统,还包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被所述处理器执行时实现如权利要求1-7任一项所述的基于单目视觉的多行人目标空间连续定位方法的步骤。
10.一种存储介质,其特征在于,所述存储介质存储有基于单目视觉的多行人目标空间连续定位程序,所述基于单目视觉的多行人目标空间连续定位程序被处理器执行时实现如权利要求1-7任一项所述基于单目视觉的多行人目标空间连续定位方法的步骤。
CN201910436035.2A 2019-05-23 2019-05-23 一种基于单目视觉的多行人目标空间连续定位方法及系统 Active CN110619662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910436035.2A CN110619662B (zh) 2019-05-23 2019-05-23 一种基于单目视觉的多行人目标空间连续定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910436035.2A CN110619662B (zh) 2019-05-23 2019-05-23 一种基于单目视觉的多行人目标空间连续定位方法及系统

Publications (2)

Publication Number Publication Date
CN110619662A CN110619662A (zh) 2019-12-27
CN110619662B true CN110619662B (zh) 2023-01-03

Family

ID=68921270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910436035.2A Active CN110619662B (zh) 2019-05-23 2019-05-23 一种基于单目视觉的多行人目标空间连续定位方法及系统

Country Status (1)

Country Link
CN (1) CN110619662B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199556B (zh) * 2019-12-31 2023-07-04 同济大学 基于摄像头的室内行人检测和跟踪方法
CN111192323B (zh) * 2020-04-10 2020-09-29 支付宝(杭州)信息技术有限公司 基于图像的对象定位方法及装置
CN112258571B (zh) * 2020-09-25 2023-05-30 上海数川数据科技有限公司 一种基于单目视觉的室内行人定位方法
CN112634329B (zh) * 2020-12-26 2024-02-13 西安电子科技大学 一种基于时空与或图的场景目标活动预测方法及装置
CN112667832B (zh) * 2020-12-31 2022-05-13 哈尔滨工业大学 一种未知室内环境下基于视觉的互定位方法
CN114088062B (zh) * 2021-02-24 2024-03-22 上海商汤临港智能科技有限公司 目标定位方法及装置、电子设备和存储介质
CN113696178B (zh) * 2021-07-29 2023-04-07 大箴(杭州)科技有限公司 一种机器人智能抓取的控制方法及系统、介质、设备
CN113840228B (zh) * 2021-08-25 2024-04-02 北京航空航天大学杭州创新研究院 一种基于定位匹配的行人室内定位方法
CN115201883B (zh) * 2022-05-20 2023-07-28 北京航天时代光电科技有限公司 一种运动目标视频定位测速系统及方法
CN114820799B (zh) * 2022-06-24 2022-09-16 南开大学 一种用于行人位置估计的数据自动标注方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
CN102479386A (zh) * 2010-11-24 2012-05-30 湘潭大学 基于单目视频的人体上半身三维运动跟踪方法
CN107635204A (zh) * 2017-09-27 2018-01-26 深圳大学 一种运动行为辅助的室内融合定位方法及装置、存储介质
CN109087353A (zh) * 2018-08-20 2018-12-25 四川超影科技有限公司 基于机器视觉的室内人员定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5230793B2 (ja) * 2009-02-24 2013-07-10 三菱電機株式会社 人物追跡装置及び人物追跡プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001236505A (ja) * 2000-02-22 2001-08-31 Atsushi Kuroda 座標推定方法、座標推定装置および座標推定システム
CN102479386A (zh) * 2010-11-24 2012-05-30 湘潭大学 基于单目视频的人体上半身三维运动跟踪方法
CN107635204A (zh) * 2017-09-27 2018-01-26 深圳大学 一种运动行为辅助的室内融合定位方法及装置、存储介质
CN109087353A (zh) * 2018-08-20 2018-12-25 四川超影科技有限公司 基于机器视觉的室内人员定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于多模型检测的视频监控行人跟踪算法;韩光星等;《华中科技大学学报(自然科学版)》;20161130(第11期);摘要,第45-47页 *
遮挡场景下基于单目视觉的室内行人定位算法优化及实现;黄海飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190115;摘要,第7-15页、19-29页、第45-54页 *

Also Published As

Publication number Publication date
CN110619662A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN110619662B (zh) 一种基于单目视觉的多行人目标空间连续定位方法及系统
US10650546B2 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
CN110458898B (zh) 相机标定板、标定数据采集方法、畸变校正方法及装置
CN111179358B (zh) 标定方法、装置、设备及存储介质
JP6237326B2 (ja) 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム
US20200128235A1 (en) Camera calibration system, target, and process
US10083522B2 (en) Image based measurement system
US8755624B2 (en) Image registration device and method thereof
US9282326B2 (en) Interactive camera calibration tool
CN111145238A (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US20140168367A1 (en) Calibrating visual sensors using homography operators
CN105989603A (zh) 机器视觉图像传感器校准
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
KR20140135116A (ko) Tiled Display에서 3D 영상을 보정하는 방법 및 장치
CN111383252B (zh) 多相机目标追踪方法、系统、装置及存储介质
CN110598571A (zh) 活体检测方法、装置及计算机可读存储介质
EP2916288A1 (en) Camera calibration method and apparatus using a color-coded structure
Gupta et al. Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones
CN110111364A (zh) 运动检测方法、装置、电子设备及存储介质
CN106791498B (zh) 图像定位方法、透镜阵列成像方法及装置
CN116524041A (zh) 一种相机标定方法、装置、设备及介质
CN106713707B (zh) 透镜阵列成像方法及装置
CN115082520A (zh) 定位追踪方法、装置、终端设备及计算机可读存储介质
CN111223139B (zh) 目标定位方法及终端设备
CN112924707A (zh) 利用影像追踪的车辆速度检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant