CN112581540A - 一种大场景下基于人体姿态估计的相机标定方法 - Google Patents

一种大场景下基于人体姿态估计的相机标定方法 Download PDF

Info

Publication number
CN112581540A
CN112581540A CN202011520371.4A CN202011520371A CN112581540A CN 112581540 A CN112581540 A CN 112581540A CN 202011520371 A CN202011520371 A CN 202011520371A CN 112581540 A CN112581540 A CN 112581540A
Authority
CN
China
Prior art keywords
camera
dimensional
human body
joint
under
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011520371.4A
Other languages
English (en)
Other versions
CN112581540B (zh
Inventor
谢艺明
王雁刚
赵允琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202011520371.4A priority Critical patent/CN112581540B/zh
Publication of CN112581540A publication Critical patent/CN112581540A/zh
Application granted granted Critical
Publication of CN112581540B publication Critical patent/CN112581540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种大场景下基于人体姿态估计的相机标定方法，该方法包括步骤1：得到各相机的初始相机参数；步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；步骤3：预测数据集中的人体关节点信息；步骤4：将多视角下的人体二维关节点利用初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化；步骤5：将关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，直到均方误差达到设定的阈值。本发明的方法能够实现更加精确的相机标定。

Description

一种大场景下基于人体姿态估计的相机标定方法
技术领域
本发明涉及计算机视觉、相机标定及三维视觉领域，特别涉及一种大场景下基于人体姿态估计的相机标定方法。
背景技术
多视角的相机标定是计算机三维视觉领域的基石，也是三维视觉领域的一个研究热点。计算机视觉领域的基本任务之一是从二维图像信息出发计算三维空间位置信息，而三维位置信息与图片像素点之间的相互关系就是由相机参数决定的。相机参数的精度以及算法稳定性直接影响后续工作结果的准确性，因此提高相机标定的精度是计算机视觉领域的重点所在。
传统的相机标定算法基于图像特征提取来进行相机参数的计算，如通过对棋盘格或者标定杆这类标定物进行图像特征的提取，这种方法在小场景下可以取得较好的效果并得到了广泛的应用。但当移植到大场景下时，由于环境因素的影响导致图像特征不明显，此时并不能够很好进行图像特征的提取，因此无法得到较为准确的相机参数，而高级语义特征则可以很好的解决这个问题。
利用卷积神经网络对低级视觉特征抽取，对其进行分析得到高级语义特征可以降低环境因素的影响，从而适应大场景下的相机标定算法。基于此思想，我们采用人作为标定物，利用人的关节点作为语义特征进行相机标定。但利用人作为标定物存在一些难点。关节点检测是一个比较困难的事情，同时利用多人进行相机参数标定存在遮挡问题以及关节点匹配的问题。但近年来由于深度学习算法的发展，人体姿态估计领域取得了快速的发展，人体关节点检测模型不断迭代更新，其中卡耐基梅隆大学的人体姿态识别库Openpose可以很好的实现多人人体关节点检测与匹配，本发明在此基础上完成基于人体关节点特征的多视角相机标定方法。
发明内容
针对大场景下的相机标定问题，本发明基于人体姿态估计提出了一种大场景下基于人体姿态估计的相机标定方法。利用张正友标定法得到初始的标定参数，利用人体姿态估计网络预测各个视角下的人体关节点信息，将多视角下的人体关节点参数协同投射并进行空间点的匹配与归一化，利用LM算法进行非线性二次优化，从而实现更加精确的相机标定。
本发明采用以下技术方案：
一种大场景下基于人体姿态估计的相机标定方法，该方法包括如下步骤：
步骤1：初始化阶段：在多视角相机标定环境下摆放棋盘格或者标定杆，利用张正友标定方法得到各相机的初始相机参数；
步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；
步骤3：利用现有的人体姿态估计模型预测数据集中的人体关节点信息得到多视角下的人体二维关节点；
步骤4：将步骤3得到的多视角下的人体二维关节点利用步骤2中初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化得到一个统一的三维空间点；
步骤5：将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，通过减小均方误差来实现优化相机标定参数的目的；
步骤6：重复3-5步骤，利用数据集中采集的多视角多人图片重复进行上述优化过程不断优化相机参数，直到均方误差达到设定的阈值，停止该迭代过程。
所述的大场景下基于人体姿态估计的相机标定方法，步骤4的具体方法是：
利用初始化的相机参数矩阵M0将得到的多视角下的人体二维关节点进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，投影过程如下：
Figure BDA0002848734220000021
式中：(xi,yi,zi,1)为第i个视角下关节点三维世界坐标，Mi为第i个相机的相机参数矩阵，(ui,vi,1)为第i个视角下关节点原二维像素坐标。
将同一个关节点在不同视角中投影得到的三维点进行归一化得到一个平均三维点，方法如下：
Figure BDA0002848734220000022
式中：(xp,yp,zp,1)为统一的关节点三维世界坐标，(xi,yi,zi,1)为第i个视角下关节点三维世界坐标。
所述的大场景下基于人体姿态估计的相机标定方法，步骤5的具体方法是：
将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，投影过程如下：
(ui',vi',1)T＝Mi(xp,yp,zp,1)T
式中：(ui',vi',1)为重投影后第i个视角下关节点的图像坐标，Mi为第i个相机的相机参数矩阵，(xp,yp,zp,1)为统一的关节点三维世界坐标。
均方误差为
Figure BDA0002848734220000031
式中：e为总的均方误差，(ui',vi',1)为重投影后第i个视角下关节点的图像坐标，(ui,vi,1)为第i个视角下关节点原二维像素坐标。
利用LM算法对损失函数进行非线性优化，并更新各相机的相机参数。
所述的大场景下基于人体姿态估计的相机标定方法，步骤3中所述的人体姿态估计模型使用Openpose模型。
有益效果：
1、基于大场景的相机标定算法可以很好的对相机标定算法进行推广。
2、使用语义特征代替图像特征可以很好的处理大场景下环境因素对图像特征的影响。
3、采用LM算法对模型的均方误差进行优化可以达到很好的收敛效果。
4、采用人作为标定物十分方便实现，降低相机标定的复杂度。
附图说明
图1是本发明的整体流程图；
图2是相机标定系统示意图；
图3是多视角Openpose关节点检测示意图，其中图3(a)是八个视角中左下角相机拍摄图片利用Openpose检测的关节点模型示意图；图3(b)是八个视角中左上角相机拍摄图片利用Openpose检测的关节点模型示意图；图3(c)是八个视角中右上角相机拍摄图片利用Openpose检测的关节点模型示意图；图3(d)是八个视角中右下角相机拍摄图片利用Openpose检测的关节点模型示意图。
图4是模型损失下降曲线图。
具体实施方式
下面根据附图详细说明本发明的详细实施方式。
如图1所示，本发明的大场景下基于人体姿态估计的相机标定方法，具体包括如下步骤：
步骤1，首先需要搭建一个多视角的相机平台，用于多视角人体数据集的制作以及初始化相机参数使用。多视角的相机平台的搭建可以在户外的空旷场地中，本实施例中在边缘八个方向搭建八个视角的相机系统，具体可参考图2的形式。
步骤2，在搭建好的相机系统里，首先摆放一根标定杆，利用张正友的一维标定法，对八个相机进行参数的初始化。本实施例中首先固定标定杆的一端，在杆中选一个到两个端点距离已知的中间点，然后对杆进行旋转并拍摄。利用张正友提出的闭式解形式对八个相机的初始参数进行求解。
步骤3，在系统里放置多人，利用相机系统对其进行数据采集。八个相机同时录制一段视频序列，得到的视频序列每隔一段时间采取一帧作为数据集中的一个数据，将每个相机进行编号，同时对每个相机提取的帧进行编号便于后续的处理。
步骤4，利用现有的人体姿态估计模型对数据集中的人体关节点进行检测，本实施例中使用Openpose模型，将检测到的关节点图像坐标信息进行存储，对每个人进行编号将检测到的关节点按顺序进行存储。
步骤5，利用初始化的相机参数矩阵M0将检测到的关节点坐标投影到世界坐标系中得到其三维坐标。投影过程如下：
Figure BDA0002848734220000041
式中：(xi,yi,zi,1)为第i个视角下关节点三维世界坐标，Mi为第i个相机的相机参数矩阵，(ui,vi,1)为第i个视角下关节点原二维像素坐标。
将同一个关节点在不同视角中投影得到的三维点进行归一化得到一个平均三维点，具体而言是用八个相机投影后得到的关节点的平均坐标作为该关节点预测得到的三维空间点。方法如下：
Figure BDA0002848734220000042
式中：(xp,yp,zp,1)为统一的关节点三维世界坐标，(xi,yi,zi,1)为第i个视角下关节点三维世界坐标。
将预测得到的各个关节点的三维点再投影到各个相机的图像坐标系上：
(ui',vi',1)T＝Mi(xp,yp,zp,1)T
式中：(ui',vi',1)为重投影后第i个视角下关节点的图像坐标，Mi为第i个相机的相机参数矩阵，(xp,yp,zp,1)为统一的关节点三维世界坐标。
则总的均方误差为
Figure BDA0002848734220000043
式中：e为总的均方误差，(ui',vi',1)为重投影后第i个视角下关节点的图像坐标，(ui,vi,1)为第i个视角下关节点原二维像素坐标。
利用LM算法对损失函数进行非线性优化，并更新各相机的相机参数。重复步骤3-5，直到均方误差小于设定阈值，停止迭代。阈值的大小根据所处环境参数不同以及相机距离人体的远近而有所差异，很难得到一个统一的参数，因此在具体参数设计上可以通过初始化的相机参数计算第一次未经过优化的均方误差进行阈值大小的设计，从而达到想要的水平。
步骤6，对数据集中的每一组图片进行步骤3-5的处理从而使相机参数更准确。
图4是模型损失下降曲线图，由图4可以看出，通过本算法，均方误差在迭代优化过程中得到快速的下降最后达到稳定收敛。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (4)

1.一种大场景下基于人体姿态估计的相机标定方法，其特征在于，该方法包括如下步骤：
步骤1：初始化阶段：在多视角相机标定环境下摆放棋盘格或者标定杆，利用张正友标定方法得到各相机的初始相机参数；
步骤2：在多视角相机环境下采集多人数据集用于优化初始相机参数；
步骤3：利用现有的人体姿态估计模型预测数据集中的人体关节点信息得到多视角下的人体二维关节点；
步骤4：将步骤3得到的多视角下的人体二维关节点利用步骤2中初始化的相机参数进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，并将同一关节点的三维投影进行归一化得到一个统一的三维空间点；
步骤5：将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，得到关节点真值和重投影关节点间的均方误差，利用LM算法进行非线性二次优化并对相机参数进行更新，通过减小均方误差来实现优化相机标定参数的目的；
步骤6：重复3-5步骤，利用数据集中采集的多视角多人图片重复进行上述优化过程不断优化相机参数，直到均方误差达到设定的阈值，停止该迭代过程。
2.根据权利要求1所述的大场景下基于人体姿态估计的相机标定方法，其特征在于，步骤4的具体方法是：
利用初始化的相机参数矩阵M0将得到的多视角下的人体二维关节点进行投影，将二维图像坐标系下的像素坐标投射到世界坐标系下得到关节点的三维坐标，投影过程如下：
Figure FDA0002848734210000012
式中：(xi,yi,zi,1)为第i个视角下关节点三维世界坐标，Mi为第i个相机的相机参数矩阵，(ui,vi,1)为第i个视角下关节点原二维像素坐标。
将同一个关节点在不同视角中投影得到的三维点进行归一化得到一个平均三维点，方法如下：
Figure FDA0002848734210000011
式中：(xp,yp,zp,1)为统一的关节点三维世界坐标，(xi,yi,zi,1)为第i个视角下关节点三维世界坐标。
3.根据权利要求1所述的大场景下基于人体姿态估计的相机标定方法，其特征在于，步骤5的具体方法是：
将步骤4得到的关节点三维空间坐标重投影到各个视角下的图像坐标系中，投影过程如下：
(u′i,v′i,1)T＝Mi(xp,yp,zp,1)T
式中：(u′i,v′i,1)为重投影后第i个视角下关节点的图像坐标，Mi为第i个相机的相机参数矩阵，(xp,yp,zp,1)为统一的关节点三维世界坐标。
均方误差为
Figure FDA0002848734210000021
式中：e为总的均方误差，(u′i,v′i,1)为重投影后第i个视角下关节点的图像坐标，(ui,vi,1)为第i个视角下关节点原二维像素坐标。
利用LM算法对损失函数进行非线性优化，并更新各相机的相机参数。
4.根据权利要求1所述的大场景下基于人体姿态估计的相机标定方法，其特征在于，步骤3中所述的人体姿态估计模型使用Openpose模型。
CN202011520371.4A 2020-12-21 2020-12-21 一种大场景下基于人体姿态估计的相机标定方法 Active CN112581540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011520371.4A CN112581540B (zh) 2020-12-21 2020-12-21 一种大场景下基于人体姿态估计的相机标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011520371.4A CN112581540B (zh) 2020-12-21 2020-12-21 一种大场景下基于人体姿态估计的相机标定方法

Publications (2)

Publication Number Publication Date
CN112581540A true CN112581540A (zh) 2021-03-30
CN112581540B CN112581540B (zh) 2022-11-18

Family

ID=75136462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011520371.4A Active CN112581540B (zh) 2020-12-21 2020-12-21 一种大场景下基于人体姿态估计的相机标定方法

Country Status (1)

Country Link
CN (1) CN112581540B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160325A (zh) * 2021-04-01 2021-07-23 长春博立电子科技有限公司 基于进化算法的多摄像机高精度自动标定方法
CN113643366A (zh) * 2021-07-12 2021-11-12 中国科学院自动化研究所 一种多视角三维对象姿态估计方法及装置
CN113658264A (zh) * 2021-07-12 2021-11-16 华南理工大学 基于距离信息的单幅图像相机焦距估计方法
CN114549660A (zh) * 2022-02-23 2022-05-27 北京大学 基于圆柱形自识别标记物的多相机标定方法、装置及设备
CN115797460A (zh) * 2022-10-10 2023-03-14 哈尔滨工程大学 一种水下双目标定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310338A (zh) * 2019-06-24 2019-10-08 西北工业大学 一种基于多中心投影模型的光场相机标定方法
CN111429532A (zh) * 2020-04-30 2020-07-17 南京大学 一种利用多平面标定板提高相机标定精确度的方法
CN111784778A (zh) * 2020-06-04 2020-10-16 华中科技大学 基于线性求解非线性优化的双目相机外参标定方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310338A (zh) * 2019-06-24 2019-10-08 西北工业大学 一种基于多中心投影模型的光场相机标定方法
CN111429532A (zh) * 2020-04-30 2020-07-17 南京大学 一种利用多平面标定板提高相机标定精确度的方法
CN111784778A (zh) * 2020-06-04 2020-10-16 华中科技大学 基于线性求解非线性优化的双目相机外参标定方法和系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160325A (zh) * 2021-04-01 2021-07-23 长春博立电子科技有限公司 基于进化算法的多摄像机高精度自动标定方法
CN113160325B (zh) * 2021-04-01 2022-10-11 长春博立电子科技有限公司 基于进化算法的多摄像机高精度自动标定方法
CN113643366A (zh) * 2021-07-12 2021-11-12 中国科学院自动化研究所 一种多视角三维对象姿态估计方法及装置
CN113658264A (zh) * 2021-07-12 2021-11-16 华南理工大学 基于距离信息的单幅图像相机焦距估计方法
CN113658264B (zh) * 2021-07-12 2023-08-18 华南理工大学 基于距离信息的单幅图像相机焦距估计方法
CN113643366B (zh) * 2021-07-12 2024-03-05 中国科学院自动化研究所 一种多视角三维对象姿态估计方法及装置
CN114549660A (zh) * 2022-02-23 2022-05-27 北京大学 基于圆柱形自识别标记物的多相机标定方法、装置及设备
CN115797460A (zh) * 2022-10-10 2023-03-14 哈尔滨工程大学 一种水下双目标定方法
CN115797460B (zh) * 2022-10-10 2023-07-21 哈尔滨工程大学 一种水下双目标定方法

Also Published As

Publication number Publication date
CN112581540B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN112581540B (zh) 一种大场景下基于人体姿态估计的相机标定方法
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
US11488308B2 (en) Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN108229381B (zh) 人脸图像生成方法、装置、存储介质和计算机设备
US9928405B2 (en) System and method for detecting and tracking facial features in images
WO2020228446A1 (zh) 模型训练方法、装置、终端及存储介质
CN108108764B (zh) 一种基于随机森林的视觉slam回环检测方法
CN103514441B (zh) 基于移动平台的人脸特征点定位跟踪方法
Sodhi et al. In-field segmentation and identification of plant structures using 3D imaging
CN109102547A (zh) 基于物体识别深度学习模型的机器人抓取位姿估计方法
CN109711366B (zh) 一种基于群组信息损失函数的行人重识别方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN111339942B (zh) 基于视点调整的图卷积循环网络骨骼动作识别方法及系统
KR20060097074A (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN107705322A (zh) 运动目标识别跟踪方法和系统
US11810366B1 (en) Joint modeling method and apparatus for enhancing local features of pedestrians
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
WO2021218671A1 (zh) 目标跟踪方法及装置、存储介质及计算机程序
CN112001278A (zh) 一种基于结构化知识蒸馏的人群计数模型及其方法
CN105930790A (zh) 基于核稀疏编码的人体行为识别方法
CN110992378B (zh) 基于旋翼飞行机器人的动态更新视觉跟踪航拍方法及系统
US20230118864A1 (en) Lifted semantic graph embedding for omnidirectional place recognition
CN112184757A (zh) 运动轨迹的确定方法及装置、存储介质、电子装置
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
CN107292269A (zh) 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant