CN111899282A - 基于双目摄像机标定的行人轨迹跟踪方法及装置 - Google Patents

基于双目摄像机标定的行人轨迹跟踪方法及装置 Download PDF

Info

Publication number
CN111899282A
CN111899282A CN202010752907.9A CN202010752907A CN111899282A CN 111899282 A CN111899282 A CN 111899282A CN 202010752907 A CN202010752907 A CN 202010752907A CN 111899282 A CN111899282 A CN 111899282A
Authority
CN
China
Prior art keywords
target
picture
camera
checkerboard
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010752907.9A
Other languages
English (en)
Other versions
CN111899282B (zh
Inventor
程晓
雷晨雨
张国辉
宋晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010752907.9A priority Critical patent/CN111899282B/zh
Priority to PCT/CN2020/111780 priority patent/WO2021139176A1/zh
Publication of CN111899282A publication Critical patent/CN111899282A/zh
Application granted granted Critical
Publication of CN111899282B publication Critical patent/CN111899282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质，涉及人工智能和区块链技术，其中通过标定物图像集获取双目摄像机的单目标定参数，以对测试图片进行双目校正，得到左校正图片和右校正图片及得到重投影矩阵；将左校正图片和右校正图片通过StereoBM算法计算得到视图差；获取双目摄像机所上传与待追踪目标对应的目标图像集，调用轨迹跟踪算法获取其中各帧目标图像的目标二维图像坐标；将各目标二维图像坐标根据稀疏透视变化算法和视图差，均对应转化为对应的目标3D坐标以组成目标3D坐标集合。实现了将双目摄像机拍摄的二维图像坐标系转化为真实世界3D坐标系，可获取目标行人在摄像头下的准确3D坐标。

Description

基于双目摄像机标定的行人轨迹跟踪方法及装置
技术领域
本发明涉及人工智能的图像检测技术领域，尤其涉及一种基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质。
背景技术
视觉跟踪和目标检测是计算机视觉领域内较早开始的研究方向，经过几十年的积累，这两个方向已经取得了显著的发展，广泛应用于机器人导航、智能监控视频、目标行为分析、交通管理及安全防控等领域。
视觉跟踪和目标检测主要任务是在给定视频中同时对多个感兴趣的目标进行定位，并且维持他们的ID、记录他们的轨迹。目标可以是任意的，研究最多的是“行人跟踪”。采用Detection-Based Tracking策略的多目标跟踪技术，对视频给定帧中进行特定类型的目标检测或运动检测，然后进行顺序或批量跟踪，将检测假设连接到轨迹中，从而实现摄像头可视范围内的多人轨迹追踪。
然而，目前大多跟踪和目标检测技术，只提供了摄像机拍摄的二维图像中的坐标，并不能完全反应真实三维世界的行人位置。比如，行人沿着摄像机拍摄方向纵向移动时，通过二维图像的坐标无法判断行人准确的位置移动。另外，使用摄像机的二维图像坐标，对摄像机的安装位置及角度，有非常严格的要求，为系统部署带来很大的难度，降低了系统的通用性。
发明内容
本发明实施例提供了一种基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质，旨在解决现有技术中跟踪和目标检测技术，只提供了摄像机拍摄的二维图像中的坐标，并不能完全反应真实三维世界的行人位置的问题。
第一方面，本发明实施例提供了一种基于双目摄像机标定的行人轨迹跟踪方法，其包括：
通过标定物图像集获取双目摄像机的单目标定参数；其中，所述单目标定参数包括左相机内参、左相机外参、左相机畸变参数、右相机内参、右相机外参、以及右相机畸变参数；
获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵；
调用预先存储的StereoBM算法，将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差；
获取双目摄像机所上传与待追踪目标对应的目标图像集，调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标；以及
将所述目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和所述视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
第二方面，本发明实施例提供了一种基于双目摄像机标定的行人轨迹跟踪装置，其包括：
单目标定单元，用于通过标定物图像集获取双目摄像机的单目标定参数；其中，所述单目标定参数包括左相机内参、左相机外参、左相机畸变参数、右相机内参、右相机外参、以及右相机畸变参数；
双目校正单元，用于获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵；
视图差计算单元，用于调用预先存储的StereoBM算法，将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差；
目标二维坐标获取单元，用于获取双目摄像机所上传与待追踪目标对应的目标图像集，调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标；以及
目标3D坐标集合获取单元，用于将所述目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和所述视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于双目摄像机标定的行人轨迹跟踪方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于双目摄像机标定的行人轨迹跟踪方法。
本发明实施例提供了一种基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质，包括通过标定物图像集获取双目摄像机的单目标定参数；获取测试图片，通过单目标定参数对测试图片进行双目校正，得到左校正图片和右校正图片及得到重投影矩阵；调用StereoBM算法，将左校正图片和右校正图片通过StereoBM算法计算得到视图差；获取双目摄像机所上传与待追踪目标对应的目标图像集，调用轨迹跟踪算法获取目标图像集中各帧目标图像的目标二维图像坐标；将目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。实现了将双目摄像机拍摄的二维图像坐标系转化为真实世界3D坐标系，可以获取目标行人在摄像头下的准确3D坐标。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于双目摄像机标定的行人轨迹跟踪方法的应用场景示意图；
图2为本发明实施例提供的基于双目摄像机标定的行人轨迹跟踪方法的流程示意图；
图3为本发明实施例提供的基于双目摄像机标定的行人轨迹跟踪装置的示意性框图；
图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的基于双目摄像机标定的行人轨迹跟踪方法的应用场景示意图；图2为本发明实施例提供的基于双目摄像机标定的行人轨迹跟踪方法的流程示意图，该基于双目摄像机标定的行人轨迹跟踪方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。
如图2所示，该方法包括步骤S110～S150。
S110、通过标定物图像集获取双目摄像机的单目标定参数；其中，所述单目标定参数包括左相机内参、左相机外参、左相机畸变参数、右相机内参、右相机外参、以及右相机畸变参数。
在本实施例中，通过标定物图像集(具体实施时标定物图像集中包括多张棋盘格图片，各张棋盘格图片对应的视角各不相同)通过棋盘格角点检测计算出双目摄像机的左摄像机对应的参数以及右摄像机对应的参数。具体计算出左摄像机对应的参数包括左相机内参、左相机外参、左相机畸变参数；右摄像机对应的参数包括右相机内参、右相机外参、以及右相机畸变参数。
由于单目标定得到右摄像机对应的参数与单目标定得到左摄像机对应的参数的过程相同。此时仅以单目标定得到左摄像机对应的参数为例来说明单目标定后得到的各种参数。
具体的，左相机内参包括1/dx、1/dy、u0、v0及f；dx表示x方向一个像素所占长度，dy表示y方向一个像素所占长度，u0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数，u0表示图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数，f表示左摄像机的焦距。
左相机外参包括世界坐标系到摄像机的相机坐标系的旋转矩阵R和平移矩阵T。
左相机畸变参数包括{k1，k2，p1，p2，k3}，其中k1、k2及k3表示径向畸变系数，p1及p2表示切向畸变系数。
在一实施例中，步骤S110包括：
接收双目摄像机中左摄像机发送的左棋盘格图片集，和接收右摄像机发送的右棋盘格图片集；其中，所述左棋盘格图片集和右棋盘格图片集组成标定物图像集，且所述左棋盘格图片集中每一左棋盘格图片均对应一张所述右棋盘格图片集中的右棋盘格图片；
获取所述左棋盘格图片集中其中一张左棋盘格图片以作为目标左棋盘格图片，并获取所述右棋盘格图片集中获取与目标左棋盘格图片相对应的目标右棋盘格图片；
调用预先存储的哈里斯角点检测函数，获取所述目标左棋盘格中的左图像哈里斯角点特征，并获取所述目标右棋盘格中的右图像哈里斯角点特征；
通过所述左图像哈里斯角点特征和所述右图像哈里斯角点特征进行最小二乘估算，得到所述双目摄像机的单目标定参数。
在本实施例中，对双目摄像机中的左摄像机和右摄像机进行标定时，需要先打印10-20张从不同角度拍摄的棋盘格图片(其中，棋盘格图片中棋盘表面和相机成像平面的夹角必须小于45度)以供左摄像机和右摄像机进行标定时使用。在对左摄像机进行单目标定时，是先从所述左棋盘格图片集中抽取一张左棋盘格图片以作为目标左棋盘格图片，然后调用哈里斯角点检测函数，检测到所述目标左棋盘格图片中的多个左图像哈里斯角点特征，最后根据多个左图像哈里斯角点特征进行最小二乘估算，得到左摄像机的单目标定参数。参考左摄像机的单目标定参数过程，同理也可得到右摄像机的单目标定参数。
S120、获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵。
在本实施例中，进行双目校正的过程一般以左摄像机为基准，然后左摄像机和右摄像机同时拍摄同一物体，得到左摄像机测试图片和右摄像机测试图片。之后对左摄像机测试图片和右摄像机测试图片进行处理，使得两幅图片最终达到以下目标：即同一个物体在两幅图像中的大小一样，且水平在一条直线上。
由于之前获取了左摄像机的左相机外参中包括左旋转矩阵R1(也即上述的旋转矩阵R)和左平移矩阵T1(也即上述的平移矩阵T)，还获取了右相机外参中包括的右旋转矩阵R2和右平移矩阵T2。此时若以左摄像机为基准，可以通过使用OpenCV的cvStereoRectify算法，将右旋转矩阵R2和右平移矩阵T2分解为左右摄像机各旋转一半的旋转矩阵R21和R22，以及和平移矩阵T21和T22。然后计算左校正图片和右校正图片的校正查找映射表，获得重投影矩阵Q。
在一实施例中，步骤S120包括：
将所述测试图片中各像素点的图像坐标分别根据左相机内参和右相机内参进行线性转换，得到各像素点的左实际成像平面坐标，以及得到各像素点的右实际成像平面坐标；
将各像素点的左实际成像平面坐标根据左相机畸变参数进行坐标转换以得到各像素点的左理想平面成像坐标，并将各像素点的右实际成像平面坐标根据右相机畸变参数进行坐标转换以得到各像素点的右理想平面成像坐标；
将各像素点的左理想平面成像坐标根据左相机内参进行透视投影变换以得到各像素点的左摄像机3D坐标，并将各像素点的右理想平面成像坐标根据右相机内参进行透视投影变换以得到各像素点的右摄像机3D坐标；
将各像素点的左摄像机3D坐标根据左相机外参进行刚体转换以得到各像素点的左实际3D坐标，并将各像素点的右摄像机3D坐标根据右相机外参进行刚体转换以得到各像素点的右实际3D坐标；
根据各像素点的左实际3D坐标得到左校正图片，并根据各像素点的右实际3D坐标得到右校正图片；
根据各像素点的左实际3D坐标与各像素点的右实际3D坐标之间的映射关系，获取重投影矩阵。
在本实施例中，进行左右摄像机的双目校正的本质是将图片从图像像素坐标系转化为实际成像平面坐标，然后从实际成像平面坐标转化为理想平面成像坐标系，之后从理想平面成像坐标系转化为摄像机3D坐标系，最后从摄像机3D坐标系转化为实际3D坐标系后，根据各像素点的左实际3D坐标得到左校正图片，并根据各像素点的右实际3D坐标得到右校正图片，根据各像素点的左实际3D坐标与各像素点的右实际3D坐标之间的映射关系，最终获取重投影矩阵。
S130、调用预先存储的StereoBM算法，将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差。
在本实施例中，如果通过一幅图片上一个点的特征在另一个二维图像空间上匹配对应点，这个过程会非常耗时。为了减少匹配搜索的运算量，利用极线约束使得对应点的匹配由二维搜索空间降到一维搜索空间。此时可以使用OpenCV的StereoBM算法可以将所述左校正图片和所述右校正图片计算得到视差图。
在一实施例中，步骤S130包括：
将所述左校正图片进行单通道灰度转换，得到左单通道灰度图；
将所述右校正图片进行单通道灰度转换，得到右单通道灰度图；
调用所述StereoBM算法中预设的视差搜索范围和滑动窗口大小，将所述左单通道灰度图、右单通道灰度图、视差搜索范围和滑动窗口大小作为所述StereoBM算法的入参进行计算，得到视图差。
在本实施例中，需要先读取所述左校正图片并转化为左单通道灰度图，例如左校正图片的名称为zjztp1.jpg，具体先通过OpenCV的cv2.imread()指令读取左校正图片zjztp1.jpg，即imgL＝cv2.imread(’zjztp1.jpg’)；之后通过OpenCV的cv2.cvtColor()指令将所述左校正图片转化为左单通道灰度图，即imgLG＝cv2.cvtColor(imgL，cv2.COLOR_BGR2GRAY)，其中imgLG表示左单通道灰度图。
在将所述右校正图片并转化为右单通道灰度图时，需要先读取所述右校正图片并转化为右单通道灰度图，例如右校正图片的名称为yjztp1.jpg，具体先通过OpenCV的cv2.imread()指令读取右校正图片yjztp1.jpg，即imgR＝cv2.imread(’yjztp1.jpg’)；之后通过OpenCV的cv2.cvtColor()指令将所述右校正图片转化为右单通道灰度图，即imgRG＝cv2.cvtColor(imgR，cv2.COLOR_BGR2GRAY)，其中imgRG表示右单通道灰度图。
在获取了左单通道灰度图imgLG和右单通道灰度图imgRG后，通过OpenCV的StereoBM算法stereo＝cv2.StereoBM_create(numDisparities＝16*9，blocksize＝45)，disp＝stereo.compute(imgLG，imgRG)计算后，即得到了视图差。
S140、获取双目摄像机所上传与待追踪目标对应的目标图像集，调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标。
在本实施例中，为了对行人路线进行追踪，此时可以调用预先存储的轨迹跟踪算法获取双目摄像机所上传与待追踪目标对应的目标图像集中各帧目标图像的目标二维图像坐标。
其中，所述轨迹跟踪算法具体实施采用多目标跟踪算法。为了对多目标跟踪算法进行详细了解，下面对所述多目标跟踪算法进行介绍。
多目标跟踪(Multiple Object Tracking，MOT)的问题提出：有一段视频，视频是由N个连续帧构成的。从第一帧到最后一帧，里面有多个目标，不断地有出有进，不断地运动。多目标跟踪的目的是对每个目标，能跟其他目标区分开，能跟踪它在不同帧中的轨迹，多目标跟踪最经典的应用就是路口监控行人。
实际上，多目标跟踪问题可以被理解为一个多变量估计问题，我们给出它的形式化定义。给定一个图像序列，
Figure BDA0002610603910000081
表示第t帧第i个目标的状态，
Figure BDA0002610603910000082
Figure BDA0002610603910000083
表示在第t帧下所有目标Mt的状态序列，
Figure BDA0002610603910000084
表示第i个目标的状态序列，其中is和ic分别表示目标i出现的第一帧图像和最后一帧图像，S1:t＝{S1，S2，…，St}表示所有目标从第1帧到第t帧的状态序列。需要注意的是每一帧目标的ID都有可能不同。相应的，在最常用的tracking-by-detection结构下，
Figure BDA0002610603910000085
表示第t帧第i个观测目标，
Figure BDA0002610603910000086
表示在第t帧下所有目标Mt的观测目标，O1:t＝{O1，O2，…，Ot}表示所有目标从第1帧到第t帧的观测目标序列。多目标跟踪的目的就是找到所有目标最好的状态序列，在所有观测目标的状态序列上的条件分布上，可以通过使用MAP(maximal a posteriori)估计法泛化建模得到：
Figure BDA0002610603910000087
通过基于概率预测的卡尔曼滤波方法可以计算式(1)所对应模型的解，以得到各帧目标图像的目标二维图像坐标。
S150、将所述目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和所述视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
在本实施例中，对轨迹跟踪算法输出的目标二维图像坐标进行转换。具体是通过上述得到视差图，将二维的点重投影到三维中的重投影矩阵Q，使用OpenCV的cvPerspectiveTransform算法(即稀疏透视变化算法)将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。本申请可应用于智慧城管/智慧交通场景中，从而推动智慧城市的建设。而且在获取各目标行人的3D坐标后，可以用于绘制行人轨迹地图、准确计算目标行人移动的距离、准确计算目标行人与目标物体之前的距离等。
在一实施例中，步骤S150之后还包括：
将所述目标3D坐标集合上传至区块链网络。
在本实施例中，服务器可以作为一个区块链节点设备，以将所述目标3D坐标集合上传至区块链网络，充分利用区块链数据不可篡改的特性，实现行人轨迹数据固化存储。
其中，基于所述目标3D坐标集合得到对应的摘要信息，具体来说，摘要信息由所述目标3D坐标集合进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述目标3D坐标集合是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
该方法实现了将双目摄像机拍摄的二维图像坐标系转化为真实世界3D坐标系，可以获取目标行人在摄像头下的准确3D坐标。
本发明实施例还提供一种基于双目摄像机标定的行人轨迹跟踪装置，该基于双目摄像机标定的行人轨迹跟踪装置用于执行前述基于双目摄像机标定的行人轨迹跟踪方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于双目摄像机标定的行人轨迹跟踪装置的示意性框图。该基于双目摄像机标定的行人轨迹跟踪装置100可以配置于服务器中。
如图3所示，基于双目摄像机标定的行人轨迹跟踪装置100包括：单目标定单元110、双目校正单元120、视图差计算单元130、目标二维坐标获取单元140、目标3D坐标集合获取单元150。
单目标定单元110，用于通过标定物图像集获取双目摄像机的单目标定参数；其中，所述单目标定参数包括左相机内参、左相机外参、左相机畸变参数、右相机内参、右相机外参、以及右相机畸变参数。
在本实施例中，通过标定物图像集(具体实施时标定物图像集中包括多张棋盘格图片，各张棋盘格图片对应的视角各不相同)通过棋盘格角点检测计算出双目摄像机的左摄像机对应的参数以及右摄像机对应的参数。具体计算出左摄像机对应的参数包括左相机内参、左相机外参、左相机畸变参数；右摄像机对应的参数包括右相机内参、右相机外参、以及右相机畸变参数。
由于单目标定得到右摄像机对应的参数与单目标定得到左摄像机对应的参数的过程相同。此时仅以单目标定得到左摄像机对应的参数为例来说明单目标定后得到的各种参数。
具体的，左相机内参包括1/dx、1/dy、u0、v0及f；dx表示x方向一个像素所占长度，dy表示y方向一个像素所占长度，u0表示图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数，u0表示图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数，f表示左摄像机的焦距。
左相机外参包括世界坐标系到摄像机的相机坐标系的旋转矩阵R和平移矩阵T。
左相机畸变参数包括{k1，k2，p1，p2，k3}，其中k1、k2及k3表示径向畸变系数，p1及p2表示切向畸变系数。
在一实施例中，单目标定单元110包括：
标定物图像集获取单元，用于接收双目摄像机中左摄像机发送的左棋盘格图片集，和接收右摄像机发送的右棋盘格图片集；其中，所述左棋盘格图片集和右棋盘格图片集组成标定物图像集，且所述左棋盘格图片集中每一左棋盘格图片均对应一张所述右棋盘格图片集中的右棋盘格图片；
目标棋盘格图片获取单元，用于获取所述左棋盘格图片集中其中一张左棋盘格图片以作为目标左棋盘格图片，并获取所述右棋盘格图片集中获取与目标左棋盘格图片相对应的目标右棋盘格图片；
哈里斯角点特征检测单元，用于调用预先存储的哈里斯角点检测函数，获取所述目标左棋盘格中的左图像哈里斯角点特征，并获取所述目标右棋盘格中的右图像哈里斯角点特征；
最小二乘估算单元，用于通过所述左图像哈里斯角点特征和所述右图像哈里斯角点特征进行最小二乘估算，得到所述双目摄像机的单目标定参数。
在本实施例中，对双目摄像机中的左摄像机和右摄像机进行标定时，需要先打印10-20张从不同角度拍摄的棋盘格图片(其中，棋盘格图片中棋盘表面和相机成像平面的夹角必须小于45度)以供左摄像机和右摄像机进行标定时使用。在对左摄像机进行单目标定时，是先从所述左棋盘格图片集中抽取一张左棋盘格图片以作为目标左棋盘格图片，然后调用哈里斯角点检测函数，检测到所述目标左棋盘格图片中的多个左图像哈里斯角点特征，最后根据多个左图像哈里斯角点特征进行最小二乘估算，得到左摄像机的单目标定参数。参考左摄像机的单目标定参数过程，同理也可得到右摄像机的单目标定参数。
双目校正单元120，用于获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵。
在本实施例中，进行双目校正的过程一般以左摄像机为基准，然后左摄像机和右摄像机同时拍摄同一物体，得到左摄像机测试图片和右摄像机测试图片。之后对左摄像机测试图片和右摄像机测试图片进行处理，使得两幅图片最终达到以下目标：即同一个物体在两幅图像中的大小一样，且水平在一条直线上。
由于之前获取了左摄像机的左相机外参中包括左旋转矩阵R1(也即上述的旋转矩阵R)和左平移矩阵T1(也即上述的平移矩阵T)，还获取了右相机外参中包括的右旋转矩阵R2和右平移矩阵T2。此时若以左摄像机为基准，可以通过使用OpenCV的cvStereoRectify算法，将右旋转矩阵R2和右平移矩阵T2分解为左右摄像机各旋转一半的旋转矩阵R21和R22，以及和平移矩阵T21和T22。然后计算左校正图片和右校正图片的校正查找映射表，获得重投影矩阵Q。
在一实施例中，双目校正单元120包括：
第一转换单元，用于将所述测试图片中各像素点的图像坐标分别根据左相机内参和右相机内参进行线性转换，得到各像素点的左实际成像平面坐标，以及得到各像素点的右实际成像平面坐标；
第二转换单元，用于将各像素点的左实际成像平面坐标根据左相机畸变参数进行坐标转换以得到各像素点的左理想平面成像坐标，并将各像素点的右实际成像平面坐标根据右相机畸变参数进行坐标转换以得到各像素点的右理想平面成像坐标；
第三转换单元，用于将各像素点的左理想平面成像坐标根据左相机内参进行透视投影变换以得到各像素点的左摄像机3D坐标，并将各像素点的右理想平面成像坐标根据右相机内参进行透视投影变换以得到各像素点的右摄像机3D坐标；
第四转换单元，用于将各像素点的左摄像机3D坐标根据左相机外参进行刚体转换以得到各像素点的左实际3D坐标，并将各像素点的右摄像机3D坐标根据右相机外参进行刚体转换以得到各像素点的右实际3D坐标；
校正图片获取单元，用于根据各像素点的左实际3D坐标得到左校正图片，并根据各像素点的右实际3D坐标得到右校正图片；
重投影矩阵获取单元，用于根据各像素点的左实际3D坐标与各像素点的右实际3D坐标之间的映射关系，获取重投影矩阵。
在本实施例中，进行左右摄像机的双目校正的本质是将图片从图像像素坐标系转化为实际成像平面坐标，然后从实际成像平面坐标转化为理想平面成像坐标系，之后从理想平面成像坐标系转化为摄像机3D坐标系，最后从摄像机3D坐标系转化为实际3D坐标系后，根据各像素点的左实际3D坐标得到左校正图片，并根据各像素点的右实际3D坐标得到右校正图片，根据各像素点的左实际3D坐标与各像素点的右实际3D坐标之间的映射关系，最终获取重投影矩阵。
视图差计算单元130，用于调用预先存储的StereoBM算法，将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差。
在本实施例中，如果通过一幅图片上一个点的特征在另一个二维图像空间上匹配对应点，这个过程会非常耗时。为了减少匹配搜索的运算量，利用极线约束使得对应点的匹配由二维搜索空间降到一维搜索空间。此时可以使用OpenCV的StereoBM算法可以将所述左校正图片和所述右校正图片计算得到视差图。
在一实施例中，视图差计算单元130包括：
第一灰度转换单元，用于将所述左校正图片进行单通道灰度转换，得到左单通道灰度图；
第二灰度转换单元，用于将所述右校正图片进行单通道灰度转换，得到右单通道灰度图；
视图差获取单元，用于调用所述StereoBM算法中预设的视差搜索范围和滑动窗口大小，将所述左单通道灰度图、右单通道灰度图、视差搜索范围和滑动窗口大小作为所述StereoBM算法的入参进行计算，得到视图差。
在本实施例中，需要先读取所述左校正图片并转化为左单通道灰度图，例如左校正图片的名称为zjztp1.jpg，具体先通过OpenCV的cv2.imread()指令读取左校正图片zjztp1.jpg，即imgL＝cv2.imread(’zjztp1.jpg’)；之后通过OpenCV的cv2.cvtColor()指令将所述左校正图片转化为左单通道灰度图，即imgLG＝cv2.cvtColor(imgL，cv2.COLOR_BGR2GRAY)，其中imgLG表示左单通道灰度图。
在将所述右校正图片并转化为右单通道灰度图时，需要先读取所述右校正图片并转化为右单通道灰度图，例如右校正图片的名称为yjztp1.jpg，具体先通过OpenCV的cv2.imread()指令读取右校正图片yjztp1.jpg，即imgR＝cv2.imread(’yjztp1.jpg’)；之后通过OpenCV的cv2.cvtColor()指令将所述右校正图片转化为右单通道灰度图，即imgRG＝cv2.cvtColor(imgR，cv2.COLOR_BGR2GRAY)，其中imgRG表示右单通道灰度图。
在获取了左单通道灰度图imgLG和右单通道灰度图imgRG后，通过OpenCV的StereoBM算法stereo＝cv2.StereoBM_create(numDisparities＝16*9，blocksize＝45)，disp＝stereo.compute(imgLG，imgRG)计算后，即得到了视图差。
目标二维坐标获取单元140，用于获取双目摄像机所上传与待追踪目标对应的目标图像集，调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标。
在本实施例中，为了对行人路线进行追踪，此时可以调用预先存储的轨迹跟踪算法获取双目摄像机所上传与待追踪目标对应的目标图像集中各帧目标图像的目标二维图像坐标。
其中，所述轨迹跟踪算法具体实施采用多目标跟踪算法。为了对多目标跟踪算法进行详细了解，下面对所述多目标跟踪算法进行介绍。
多目标跟踪(Multiple Object Tracking，MOT)的问题提出：有一段视频，视频是由N个连续帧构成的。从第一帧到最后一帧，里面有多个目标，不断地有出有进，不断地运动。多目标跟踪的目的是对每个目标，能跟其他目标区分开，能跟踪它在不同帧中的轨迹，多目标跟踪最经典的应用就是路口监控行人。
实际上，多目标跟踪问题可以被理解为一个多变量估计问题，我们给出它的形式化定义。给定一个图像序列，
Figure BDA0002610603910000131
表示第t帧第i个目标的状态，
Figure BDA0002610603910000132
Figure BDA0002610603910000141
表示在第t帧下所有目标Mt的状态序列，
Figure BDA0002610603910000142
表示第i个目标的状态序列，其中is和ic分别表示目标i出现的第一帧图像和最后一帧图像，S1:t＝{S1，S2，…，St}表示所有目标从第1帧到第t帧的状态序列。需要注意的是每一帧目标的ID都有可能不同。相应的，在最常用的tracking-by-detection结构下，
Figure BDA0002610603910000143
表示第t帧第i个观测目标，
Figure BDA0002610603910000144
表示在第t帧下所有目标Mt的观测目标，O1:t＝{O1，O2，…，Ot}表示所有目标从第1帧到第t帧的观测目标序列。多目标跟踪的目的就是找到所有目标最好的状态序列，在所有观测目标的状态序列上的条件分布上，可以通过使用MAP(maximal a posteriori)估计法泛化建模得到上述的式(1)，通过基于概率预测的卡尔曼滤波方法可以计算式(1)所对应模型的解，以得到各帧目标图像的目标二维图像坐标。
目标3D坐标集合获取单元150，用于将所述目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和所述视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
在本实施例中，对轨迹跟踪算法输出的目标二维图像坐标进行转换。具体是通过上述得到视差图，将二维的点重投影到三维中的重投影矩阵Q，使用OpenCV的cvPerspectiveTransform算法(即稀疏透视变化算法)将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
在一实施例中，基于双目摄像机标定的行人轨迹跟踪装置100还包括：
数据上链单元，用于将所述目标3D坐标集合上传至区块链网络。
在本实施例中，服务器可以作为一个区块链节点设备，以将所述目标3D坐标集合上传至区块链网络，充分利用区块链数据不可篡改的特性，实现行人轨迹数据固化存储。
其中，基于所述目标3D坐标集合得到对应的摘要信息，具体来说，摘要信息由所述目标3D坐标集合进行散列处理得到，比如利用sha256算法处理得到。将摘要信息上传至区块链可保证其安全性和对用户的公正透明性。服务器可以从区块链中下载得该摘要信息，以便查证所述目标3D坐标集合是否被篡改。本示例所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
该装置实现了将双目摄像机拍摄的二维图像坐标系转化为真实世界3D坐标系，可以获取目标行人在摄像头下的准确3D坐标。
上述基于双目摄像机标定的行人轨迹跟踪装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于双目摄像机标定的行人轨迹跟踪方法。
该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于双目摄像机标定的行人轨迹跟踪方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于双目摄像机标定的行人轨迹跟踪方法。
本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于双目摄像机标定的行人轨迹跟踪方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于双目摄像机标定的行人轨迹跟踪方法，其特征在于，包括：
通过标定物图像集获取双目摄像机的单目标定参数；其中，所述单目标定参数包括左相机内参、左相机外参、左相机畸变参数、右相机内参、右相机外参、以及右相机畸变参数；
获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵；
调用预先存储的StereoBM算法，将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差；
获取双目摄像机所上传与待追踪目标对应的目标图像集，调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标；以及
将所述目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和所述视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
2.根据权利要求1所述的基于双目摄像机标定的行人轨迹跟踪方法，其特征在于，所述通过标定物图像集获取双目摄像机的单目标定参数，包括；
接收双目摄像机中左摄像机发送的左棋盘格图片集，和接收右摄像机发送的右棋盘格图片集；其中，所述左棋盘格图片集和右棋盘格图片集组成标定物图像集，且所述左棋盘格图片集中每一左棋盘格图片均对应一张所述右棋盘格图片集中的右棋盘格图片；
获取所述左棋盘格图片集中其中一张左棋盘格图片以作为目标左棋盘格图片，并获取所述右棋盘格图片集中获取与目标左棋盘格图片相对应的目标右棋盘格图片；
调用预先存储的哈里斯角点检测函数，获取所述目标左棋盘格中的左图像哈里斯角点特征，并获取所述目标右棋盘格中的右图像哈里斯角点特征；
通过所述左图像哈里斯角点特征和所述右图像哈里斯角点特征进行最小二乘估算，得到所述双目摄像机的单目标定参数。
3.根据权利要求1所述的基于双目摄像机标定的行人轨迹跟踪方法，其特征在于，所述获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵，包括：
将所述测试图片中各像素点的图像坐标分别根据左相机内参和右相机内参进行线性转换，得到各像素点的左实际成像平面坐标，以及得到各像素点的右实际成像平面坐标；
将各像素点的左实际成像平面坐标根据左相机畸变参数进行坐标转换以得到各像素点的左理想平面成像坐标，并将各像素点的右实际成像平面坐标根据右相机畸变参数进行坐标转换以得到各像素点的右理想平面成像坐标；
将各像素点的左理想平面成像坐标根据左相机内参进行透视投影变换以得到各像素点的左摄像机3D坐标，并将各像素点的右理想平面成像坐标根据右相机内参进行透视投影变换以得到各像素点的右摄像机3D坐标；
将各像素点的左摄像机3D坐标根据左相机外参进行刚体转换以得到各像素点的左实际3D坐标，并将各像素点的右摄像机3D坐标根据右相机外参进行刚体转换以得到各像素点的右实际3D坐标；
根据各像素点的左实际3D坐标得到左校正图片，并根据各像素点的右实际3D坐标得到右校正图片；
根据各像素点的左实际3D坐标与各像素点的右实际3D坐标之间的映射关系，获取重投影矩阵。
4.根据权利要求1所述的基于双目摄像机标定的行人轨迹跟踪方法，其特征在于，所述将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差，包括：
将所述左校正图片进行单通道灰度转换，得到左单通道灰度图；
将所述右校正图片进行单通道灰度转换，得到右单通道灰度图；
调用所述StereoBM算法中预设的视差搜索范围和滑动窗口大小，将所述左单通道灰度图、右单通道灰度图、视差搜索范围和滑动窗口大小作为所述StereoBM算法的入参进行计算，得到视图差。
5.根据权利要求1所述的基于双目摄像机标定的行人轨迹跟踪方法，其特征在于，所述调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标，包括：
调用所述轨迹跟踪算法对应的多目标跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标。
6.根据权利要求1所述的基于双目摄像机标定的行人轨迹跟踪方法，其特征在于，还包括：
将所述目标3D坐标集合上传至区块链网络。
7.一种基于双目摄像机标定的行人轨迹跟踪装置，其特征在于，包括：
单目标定单元，用于通过标定物图像集获取双目摄像机的单目标定参数；其中，所述单目标定参数包括左相机内参、左相机外参、左相机畸变参数、右相机内参、右相机外参、以及右相机畸变参数；
双目校正单元，用于获取测试图片，通过所述单目标定参数对所述测试图片进行双目校正，得到左校正图片和右校正图片，以及得到重投影矩阵；
视图差计算单元，用于调用预先存储的StereoBM算法，将所述左校正图片和所述右校正图片通过所述StereoBM算法计算得到视图差；
目标二维坐标获取单元，用于获取双目摄像机所上传与待追踪目标对应的目标图像集，调用预先存储的轨迹跟踪算法获取所述目标图像集中各帧目标图像的目标二维图像坐标；以及
目标3D坐标集合获取单元，用于将所述目标图像集中各帧目标图像的目标二维图像坐标根据所调用的稀疏透视变化算法和所述视图差，将各目标二维图像坐标均转化为对应的目标3D坐标，以组成目标3D坐标集合。
8.根据权利要求7所述的基于双目摄像机标定的行人轨迹跟踪装置，其特征在于，所述单目标定单元包括：
标定物图像集获取单元，用于接收双目摄像机中左摄像机发送的左棋盘格图片集，和接收右摄像机发送的右棋盘格图片集；其中，所述左棋盘格图片集和右棋盘格图片集组成标定物图像集，且所述左棋盘格图片集中每一左棋盘格图片均对应一张所述右棋盘格图片集中的右棋盘格图片；
目标棋盘格图片获取单元，用于获取所述左棋盘格图片集中其中一张左棋盘格图片以作为目标左棋盘格图片，并获取所述右棋盘格图片集中获取与目标左棋盘格图片相对应的目标右棋盘格图片；
哈里斯角点特征检测单元，用于调用预先存储的哈里斯角点检测函数，获取所述目标左棋盘格中的左图像哈里斯角点特征，并获取所述目标右棋盘格中的右图像哈里斯角点特征；
最小二乘估算单元，用于通过所述左图像哈里斯角点特征和所述右图像哈里斯角点特征进行最小二乘估算，得到所述双目摄像机的单目标定参数。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于双目摄像机标定的行人轨迹跟踪方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于双目摄像机标定的行人轨迹跟踪方法。
CN202010752907.9A 2020-07-30 2020-07-30 基于双目摄像机标定的行人轨迹跟踪方法及装置 Active CN111899282B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010752907.9A CN111899282B (zh) 2020-07-30 2020-07-30 基于双目摄像机标定的行人轨迹跟踪方法及装置
PCT/CN2020/111780 WO2021139176A1 (zh) 2020-07-30 2020-08-27 基于双目摄像机标定的行人轨迹跟踪方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010752907.9A CN111899282B (zh) 2020-07-30 2020-07-30 基于双目摄像机标定的行人轨迹跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN111899282A true CN111899282A (zh) 2020-11-06
CN111899282B CN111899282B (zh) 2024-05-14

Family

ID=73182689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010752907.9A Active CN111899282B (zh) 2020-07-30 2020-07-30 基于双目摄像机标定的行人轨迹跟踪方法及装置

Country Status (2)

Country Link
CN (1) CN111899282B (zh)
WO (1) WO2021139176A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489134A (zh) * 2020-11-26 2021-03-12 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质
CN114299120A (zh) * 2021-12-31 2022-04-08 北京银河方圆科技有限公司 基于多摄像机模组的补偿方法、注册方法和可读存储介质
CN116721339A (zh) * 2023-04-24 2023-09-08 广东电网有限责任公司 一种输电线路的检测方法、装置、设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781578B (zh) * 2021-09-09 2024-05-28 南京康尼电子科技有限公司 结合目标检测与双目视觉的闸机通行行为识别与控制方法
CN113870364B (zh) * 2021-09-30 2024-05-24 吉林大学重庆研究院 一种自适应的双目相机标定方法
CN114910076B (zh) * 2022-05-20 2024-04-05 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
CN117437563B (zh) * 2023-12-13 2024-03-15 黑龙江惠达科技股份有限公司 一种基于双目视觉的植保无人机打点方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
WO2017215295A1 (zh) * 2016-06-14 2017-12-21 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN109941885A (zh) * 2019-03-07 2019-06-28 无锡顶视科技有限公司 一种基于伸缩臂的集装箱箱号抓拍和识别装置及其方法
CN111047536A (zh) * 2019-12-18 2020-04-21 深圳市汉森软件有限公司 Ccd图像矫正方法、装置、设备及存储介质
CN111368820A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 文本标注方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485735A (zh) * 2015-09-01 2017-03-08 南京理工大学 基于立体视觉技术的人体目标识别与跟踪方法
US10666926B1 (en) * 2017-07-18 2020-05-26 Edge 3 Technologies, Inc. Residual error mitigation in multiview calibration
CN109191509A (zh) * 2018-07-25 2019-01-11 广东工业大学 一种基于结构光的虚拟双目三维重建方法
US10503966B1 (en) * 2018-10-11 2019-12-10 Tindei Network Technology (Shanghai) Co., Ltd. Binocular pedestrian detection system having dual-stream deep learning neural network and the methods of using the same
CN111199556B (zh) * 2019-12-31 2023-07-04 同济大学 基于摄像头的室内行人检测和跟踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344965A (zh) * 2008-09-04 2009-01-14 上海交通大学 基于双目摄像的跟踪系统
CN103337094A (zh) * 2013-06-14 2013-10-02 西安工业大学 一种应用双目摄像机实现运动三维重建的方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
WO2017215295A1 (zh) * 2016-06-14 2017-12-21 华为技术有限公司 一种摄像机参数调整方法、导播摄像机及系统
WO2018086348A1 (zh) * 2016-11-09 2018-05-17 人加智能机器人技术（北京）有限公司 双目立体视觉系统及深度测量方法
CN106803273A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 一种全景摄像机标定方法
CN109941885A (zh) * 2019-03-07 2019-06-28 无锡顶视科技有限公司 一种基于伸缩臂的集装箱箱号抓拍和识别装置及其方法
CN111047536A (zh) * 2019-12-18 2020-04-21 深圳市汉森软件有限公司 Ccd图像矫正方法、装置、设备及存储介质
CN111368820A (zh) * 2020-03-06 2020-07-03 腾讯科技（深圳）有限公司 文本标注方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489134A (zh) * 2020-11-26 2021-03-12 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法
CN112489134B (zh) * 2020-11-26 2024-05-14 南方科技大学 面向运动估计的跨帧超高速相机设计方法及运动估计方法
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质
CN114299120A (zh) * 2021-12-31 2022-04-08 北京银河方圆科技有限公司 基于多摄像机模组的补偿方法、注册方法和可读存储介质
CN114299120B (zh) * 2021-12-31 2023-08-04 北京银河方圆科技有限公司 补偿方法、注册方法和可读存储介质
CN116721339A (zh) * 2023-04-24 2023-09-08 广东电网有限责任公司 一种输电线路的检测方法、装置、设备和存储介质
CN116721339B (zh) * 2023-04-24 2024-04-30 广东电网有限责任公司 一种输电线路的检测方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111899282B (zh) 2024-05-14
WO2021139176A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111899282B (zh) 基于双目摄像机标定的行人轨迹跟踪方法及装置
CN110163953B (zh) 三维人脸重建方法、装置、存储介质和电子装置
US10636151B2 (en) Method for estimating the speed of movement of a camera
CN110246147B (zh) 视觉惯性里程计方法、视觉惯性里程计装置及移动设备
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN111750820B (zh) 影像定位方法及其系统
EP3028252B1 (en) Rolling sequential bundle adjustment
US8593524B2 (en) Calibrating a camera system
CN111145238A (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
US11082633B2 (en) Method of estimating the speed of displacement of a camera
US20200334842A1 (en) Methods, devices and computer program products for global bundle adjustment of 3d images
CN110568447A (zh) 视觉定位的方法、装置及计算机可读介质
US20180309978A1 (en) Camera parameter set calculation method, recording medium, and camera parameter set calculation apparatus
US9934585B2 (en) Apparatus and method for registering images
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
US20160125585A1 (en) Camera system and image registration method thereof
CN107038753B (zh) 立体视觉三维重建系统及方法
CN112215880A (zh) 一种图像深度估计方法及装置、电子设备、存储介质
CN112907573A (zh) 一种基于3d卷积的深度补全方法
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN113345032B (zh) 一种基于广角相机大畸变图的初始化建图方法及系统
WO2019045722A1 (en) METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR 3D CARTOGRAPHY ESTIMATION AND 3D IMAGE POSES
CN108830890B (zh) 一种使用生成式对抗网络从单幅图像中估计场景几何信息的方法
JP2007025863A (ja) 撮影システム、撮影方法及び画像処理プログラム
CN112630469B (zh) 一种基于结构光和多光场相机的三维检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant