CN103500471A - 实现高分辨率增强现实系统的方法 - Google Patents

实现高分辨率增强现实系统的方法 Download PDF

Info

Publication number
CN103500471A
CN103500471A CN201310448413.1A CN201310448413A CN103500471A CN 103500471 A CN103500471 A CN 103500471A CN 201310448413 A CN201310448413 A CN 201310448413A CN 103500471 A CN103500471 A CN 103500471A
Authority
CN
China
Prior art keywords
depth camera
head3d
degree
augmented reality
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310448413.1A
Other languages
English (en)
Inventor
袁元
王倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN VISTANDARD DIGITAL TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN VISTANDARD DIGITAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN VISTANDARD DIGITAL TECHNOLOGY Co Ltd filed Critical SHENZHEN VISTANDARD DIGITAL TECHNOLOGY Co Ltd
Priority to CN201310448413.1A priority Critical patent/CN103500471A/zh
Publication of CN103500471A publication Critical patent/CN103500471A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本发明涉及一种实现高分辨率增强现实系统的方法，所述方法首先标定深度摄像头的内部参数、高分辨率摄像装置的内部参数及畸变参数，固定所述深度摄像头与所述高分辨率摄像装置，获取所述深度摄像头与高分辨率摄像装置之间的相对位置，并同步捕获所述深度摄像头与高分辨率摄像装置的数据，利用深度信息，获取特征信息点，最后恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标，再将所述三维坐标投射到所述高分辨率摄像装置的图像坐标系中。本发明的技术方案可以利用现有装置来实现具有高分辨率的增强现实系统，以满足大屏幕视频等复杂场景的需要，其实施方便，不会增加额外的硬件成本。

Description

实现高分辨率增强现实系统的方法
  
技术领域
本发明属于视频处理技术领域，特别是一种实现高分辨率增强现实系统的方法。 
背景技术
目前，在视频游戏等领域，出现了采用深度摄像头的视频应用系统，如微软公司视频游戏机Xbox360的体感游戏外设Kinect。上述视频应用系统通常被称为增强现实系统（Augmented Reality，AR）。与传统的摄像头只能提取二维画面不同，深度摄像头的特点在于可以快速提取空间的深度信息，构建空间和物体的三维坐标，比如人体肢体动作识别和物体追踪等。利用深度摄像头，上述使用增强现实系统的体感游戏可以对游戏机前方的用户进行定位，并根据其做出的动作，在游戏系统中进行特定的反馈并由电视机输出相应的视频，从而使用户能够仅利用肢体动作即可游玩游戏。 
深度摄像头的主要实现方式包括结构光方法和光反射方法。结构光方法中，摄像头通过发射特定的图样（PATTERN），并根据拍摄后的图像进行解码，从而获取每个图样在图像中对应的位置。假设原始图样坐标为A，成像后的坐标为B，由摄像头的成像特性可知，存在一个单应矩阵H，使得A=HB成立。根据摄像头的内部畸变参数和单应矩阵H，可以准确的计算出当前图样和摄像头的空间相对位置。当所有的图样都被解析出以后，即可恢复整个画面的深度信息。光反射法基于光速，它是利用测量光的发射和反射时间差，计算在此时间内走的光程，dist=c*(t2-t1)。算法原理比结构光方法更简单，但对硬件的响应速度要求更高。 
但是，由于硬件成本的等各方面的原因，具有深度摄像头的装置，其摄像头的分辨率往往不高，难以满足大屏幕视频等复杂场景的需要，而具有较高分辨率的摄像装置，又不具备深度摄像头的功能。因此，有必要提供一种利用现有装置来实现具有高分辨率的增强现实系统。 
  
发明内容
本发明所要解决的技术问题在于提供一种视频处理技术，特别是一种实现高分辨率增强现实系统的方法。 
本发明的目的是通过以下技术方案来实现的： 
一种实现高分辨率增强现实系统的方法，所述方法包括以下步骤：
步骤a. 标定深度摄像头的内部参数、高分辨率摄像装置的内部参数及畸变参数；
步骤b. 固定所述深度摄像头与所述高分辨率摄像装置，获取所述深度摄像头与高分辨率摄像装置之间的相对位置；
步骤c. 同步捕获所述深度摄像头与高分辨率摄像装置的数据；
步骤d. 利用深度信息，获取特征信息点；
步骤e. 恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标；
步骤f. 将所述三维坐标投射到所述高分辨率摄像装置的图像坐标系中。
在本发明的技术方案中，所述步骤a具体包括： 
采用针孔摄像头成像模型：
Figure 2013104484131100002DEST_PATH_DEST_PATH_IMAGE001
上式中，u,v为图像坐标，X,Y,Z为世界坐标，
所述深度摄像头的内部参数为：
Figure 2013104484131100002DEST_PATH_DEST_PATH_IMAGE002
镜头几何校正公式如下：
Figure 2013104484131100002DEST_PATH_DEST_PATH_IMAGE003
。
在本发明的技术方案中，所述内部参数和畸变参数的获取具体包括：对所述深度摄像头与高分辨率摄像装置做标定，打印标定模板，在所述深度摄像头的视野范围内做多角度旋转和平移，拍摄图像，计算图像中的特征信息点，依据标定模板的实际尺寸，获取所述深度摄像头与高分辨率摄像装置的畸变参数和内部参数。 
在本发明的技术方案中，所述步骤b中，所述深度摄像头与高分辨率摄像装置为刚体连接，且平行安装。 
在本发明的技术方案中，所述步骤c中，所述深度摄像头与高分辨率摄像装置采集数据的帧速相同。 
在本发明的技术方案中，所述步骤d具体包括： 
设所述特征信息点坐标为Head3D，在所述深度摄像头图像中的坐标为(u_h, v_h)，距离所述深度摄像头的距离为z_h，则有：
Fd = (u_h, v_h , z_h)
上式中，u_h和v_h的单位为像素，z_h的单位为毫米。
在本发明的技术方案中，所述步骤e具体包括：将所述特征信息点映射到所述高分辨率摄像装置上，恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标Head3D为： 
Head3D.x = (u_h - cx_d) * z_h/fx_d
Head3D.y = (v_h- cy_d) * z_h/fy_d
Head3D.z = z_h。
在本发明的技术方案中，所述步骤f具体计算过程为： 
设所述特征信息点投射后的坐标为Head3D，有：
Head3D' = Head3D*Rcd + Tcd
Fc.x = (Head3D'.x * fx_c / Head3D'.z) + cx_c
Fc.y = (Head3D'.y * fy_c / Head3D'.z) + cy_c。
本发明的技术方案可以利用现有装置来实现具有高分辨率的增强现实系统，以满足大屏幕视频等复杂场景的需要，其实施方便，不会增加额外的硬件成本。 
附图说明
图1为本发明的高分辨率增强现实系统的装置组合的结构示意图。 
图2为本发明的实现高分辨率增强现实系统的方法的流程图。 
  
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 
本发明的构思在于，以简单的机械结构将具有深度摄像头的装置与具有较高分辨率的摄像装置（数码相机或数码摄影机等）结合在一起，通过特定的坐标变换计算，可以提供具有高分辨率的增强现实系统解决方案。 
请参阅图1，本发明的高分辨率增强现实系统所使用的设备主要包括深度摄像头以及高分辨率摄像装置，在本发明的较佳实施方式中，该高分辨率摄像装置为数码相机。 
以人体为例，利用深度摄像头，可以获取人体的骨骼点的深度信息，并进一步计算出该点相对于深度摄像头的三维坐标。而高分辨率摄像装置的拍摄画面是二维平面图像，非三维坐标，因此，需要计算出高分辨率摄像装置的所拍摄画面中的人体各点对应的三维坐标。也即利用深度摄像头已经获取的某一点的三维坐标（该坐标相对于深度摄像头），结合高分辨率摄像装置和深度摄像头的相对位置（通过标定的方式获得），由此可知该点在高分辨率摄像装置中对应的平面坐标及其三维坐标（该坐标相对于高分辨率摄像装置）。 
请参阅图2，本发明的实现高分辨率增强现实系统的方法主要包括以下步骤： 
步骤S101：标定深度摄像头的内部参数Kd、高分辨率摄像装置的内部参数Kc及畸变参数。
在图像处理领域，普遍采用针孔摄像头成像模型： 
Figure DEST_PATH_265682DEST_PATH_IMAGE001
其中u,v为图像坐标，X,Y,Z为世界坐标。
深度摄像头的内部参数如下： 
由于镜头存在不同程度的畸变，为还原真实的图像，需要对拍摄后的图像进行几何校正，校正公式如下：
Figure DEST_PATH_900243DEST_PATH_IMAGE003
为了获取校正所需要的内部参数和畸变参数，需要对摄像头和高分辨率摄像装置做标定。首先，打印标定模板，在摄像头的视野范围内做多角度旋转和平移，并拍摄图像。将图像输入程序中，计算图像中的特征信息点，依据标定模板的实际尺寸，计算出高分辨率摄像装置和摄像头的畸变参数、内部参数等。
步骤S102：固定深度摄像头和高分辨率摄像装置，并获取两者之间的相对位置Rcd和Tcd。 
深度摄像头和高分辨率摄像装置之间的连接方式为刚体连接。在本发明的较佳实施方式中，深度摄像头与高分辨率摄像装置为平行安装，即两者的镜头方向平行。以使得深度摄像头与高分辨率摄像装置的画面重合度最高，高分辨率摄像装置中能获取深度信息的画面最大化。 
步骤S103：同步捕获深度摄像头和高分辨率摄像装置的数据。 
深度摄像头和高分辨率摄像装置是两个独立的图像采集设备，因此两者的数据需要随时进行同步。通常深度摄像头帧速为30帧/秒，高分辨率摄像装置的帧速为25帧/秒左右，因此需要在两个采集线程间进行数据同步。在本发明的较佳实施方式中，深度摄像头和高分辨率摄像装置的帧速均设置为25帧/秒。 
步骤S104：利用深度信息，处理出特征信息点Fd。 
上述特征信息点Fd为骨骼特征信息点、人脸、物体位置等，基于深度信息和人体骨骼的模式识别算法，提取出各种特征信息。比如头部在深度摄像头图像中的坐标(u_h, v_h)以及头部和摄像头的距离z_h，此时 
Fd = (u_h, v_h , z_h)
上式中u_h和v_h的单位为像素，z_h的单位为毫米。
步骤S105：恢复出该特征信息点Fd在深度摄像头坐标系中的三维坐标Head3D。 
利用预先标定的结果Kd/Kc/Rcd/Tcd，将特征信息点Fd映射到高分辨率摄像装置上Fc，根据透视关系，恢复出该特征信息点Fd在深度摄像头坐标系中的三维坐标Head3D。 
Head3D.x = (u_h - cx_d) * z_h/fx_d 
Head3D.y = (v_h- cy_d) * z_h/fy_d
Head3D.z = z_h
步骤S106：将三维坐标Head3D投射到高分辨率摄像装置的图像坐标系中。
计算方法如下： 
Head3D' = Head3D*Rcd + Tcd
Fc.x = (Head3D'.x * fx_c / Head3D'.z) + cx_c
Fc.y = (Head3D'.y * fy_c / Head3D'.z) + cy_c
由此，可以得出该点在高分辨率摄像装置中对应的平面坐标及其三维坐标。
本发明的技术方案可以利用现有装置来实现具有高分辨率的增强现实系统，以满足大屏幕视频等复杂场景的需要，其实施方便，不会增加额外的硬件成本。 
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。 

Claims (8)

1.一种实现高分辨率增强现实系统的方法，其特征在于，所述方法包括以下步骤：
步骤a. 标定深度摄像头的内部参数、高分辨率摄像装置的内部参数及畸变参数；
步骤b. 固定所述深度摄像头与所述高分辨率摄像装置，获取所述深度摄像头与高分辨率摄像装置之间的相对位置；
步骤c. 同步捕获所述深度摄像头与高分辨率摄像装置的数据；
步骤d. 利用深度信息，获取特征信息点；
步骤e. 恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标；
步骤f. 将所述三维坐标投射到所述高分辨率摄像装置的图像坐标系中。
2.如权利要求1所述的实现高分辨率增强现实系统的方法，其特征在于，所述步骤a具体包括：
采用针孔摄像头成像模型：
Figure 2013104484131100001DEST_PATH_DEST_PATH_IMAGE001
上式中，u,v为图像坐标，X,Y,Z为世界坐标，
所述深度摄像头的内部参数为：
镜头几何校正公式如下：
Figure 2013104484131100001DEST_PATH_DEST_PATH_IMAGE003
。
3.如权利要求2所述的实现高分辨率增强现实系统的方法，其特征在于，所述内部参数和畸变参数的获取具体包括：对所述深度摄像头与高分辨率摄像装置做标定，打印标定模板，在所述深度摄像头的视野范围内做多角度旋转和平移，拍摄图像，计算图像中的特征信息点，依据标定模板的实际尺寸，获取所述深度摄像头与高分辨率摄像装置的畸变参数和内部参数。
4.如权利要求1所述的实现高分辨率增强现实系统的方法，其特征在于，所述步骤b中，所述深度摄像头与高分辨率摄像装置为刚体连接，且平行安装。
5.如权利要求1所述的实现高分辨率增强现实系统的方法，其特征在于，所述步骤c中，所述深度摄像头与高分辨率摄像装置采集数据的帧速相同。
6.如权利要求3所述的实现高分辨率增强现实系统的方法，其特征在于，所述步骤d具体包括：
设所述特征信息点坐标为Head3D，在所述深度摄像头图像中的坐标为(u_h, v_h)，距离所述深度摄像头的距离为z_h，则有：
Fd = (u_h, v_h , z_h)
上式中，u_h和v_h的单位为像素，z_h的单位为毫米。
7.如权利要求6所述的实现高分辨率增强现实系统的方法，其特征在于，所述步骤e具体包括：将所述特征信息点映射到所述高分辨率摄像装置上，恢复所述特征信息点在所述深度摄像头坐标系中的三维坐标Head3D为：
Head3D.x = (u_h - cx_d) * z_h/fx_d
Head3D.y = (v_h- cy_d) * z_h/fy_d
Head3D.z = z_h。
8.如权利要求7所述的实现高分辨率增强现实系统的方法，其特征在于，所述步骤f具体计算过程为：
设所述特征信息点投射后的坐标为Head3D，有：
Head3D' = Head3D*Rcd + Tcd
Fc.x = (Head3D'.x * fx_c / Head3D'.z) + cx_c
Fc.y = (Head3D'.y * fy_c / Head3D'.z) + cy_c。
CN201310448413.1A 2013-09-27 2013-09-27 实现高分辨率增强现实系统的方法 Pending CN103500471A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310448413.1A CN103500471A (zh) 2013-09-27 2013-09-27 实现高分辨率增强现实系统的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310448413.1A CN103500471A (zh) 2013-09-27 2013-09-27 实现高分辨率增强现实系统的方法

Publications (1)

Publication Number Publication Date
CN103500471A true CN103500471A (zh) 2014-01-08

Family

ID=49865674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310448413.1A Pending CN103500471A (zh) 2013-09-27 2013-09-27 实现高分辨率增强现实系统的方法

Country Status (1)

Country Link
CN (1) CN103500471A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005970A (zh) * 2015-06-26 2015-10-28 广东欧珀移动通信有限公司 一种增强现实的实现方法及装置
CN105205799A (zh) * 2014-06-10 2015-12-30 北京七鑫易维信息技术有限公司 一种具有全方位特征面的装置及增强现实三维注册系统
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
CN106340064A (zh) * 2016-08-25 2017-01-18 北京大视景科技有限公司 一种混合现实沙盘装置和方法
CN106488204A (zh) * 2015-09-02 2017-03-08 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
WO2018227580A1 (zh) * 2017-06-16 2018-12-20 深圳市柔宇科技有限公司 摄像头标定方法和终端
US10742961B2 (en) 2015-09-02 2020-08-11 Industrial Technology Research Institute Depth sensing apparatus with self-calibration and self-calibration method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006130734A2 (en) * 2005-06-01 2006-12-07 Canesta, Inc. Method and system to increase x-y resolution in a depth (z) camera using red, blue, green (rgb) sensing
CN101556696A (zh) * 2009-05-14 2009-10-14 浙江大学 基于阵列摄像机的深度图实时获取算法
CN101582165A (zh) * 2009-06-29 2009-11-18 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法
CN102387374A (zh) * 2010-08-30 2012-03-21 三星电子株式会社 用于获得高精度深度图的设备和方法
CN102589530A (zh) * 2012-02-24 2012-07-18 合肥工业大学 基于二维相机和三维相机融合的非合作目标位姿测量方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006130734A2 (en) * 2005-06-01 2006-12-07 Canesta, Inc. Method and system to increase x-y resolution in a depth (z) camera using red, blue, green (rgb) sensing
CN101556696A (zh) * 2009-05-14 2009-10-14 浙江大学 基于阵列摄像机的深度图实时获取算法
CN101582165A (zh) * 2009-06-29 2009-11-18 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法
CN102387374A (zh) * 2010-08-30 2012-03-21 三星电子株式会社 用于获得高精度深度图的设备和方法
CN102589530A (zh) * 2012-02-24 2012-07-18 合肥工业大学 基于二维相机和三维相机融合的非合作目标位姿测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HC DANIEL等: "《Joint Depth and Color Camera Calibration with Distortion Correction》", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
周颖: "《基于摄像机阵列的三维实时获取技术与系统》", 《中国优秀硕士学位论文全文数据库》 *
贾保柱: "《融合2D与3D图像的三维重建系统实现》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205799B (zh) * 2014-06-10 2019-04-02 北京七鑫易维信息技术有限公司 一种具有全方位特征面的装置及增强现实三维注册系统
CN105205799A (zh) * 2014-06-10 2015-12-30 北京七鑫易维信息技术有限公司 一种具有全方位特征面的装置及增强现实三维注册系统
CN105005970A (zh) * 2015-06-26 2015-10-28 广东欧珀移动通信有限公司 一种增强现实的实现方法及装置
CN105005970B (zh) * 2015-06-26 2018-02-16 广东欧珀移动通信有限公司 一种增强现实的实现方法及装置
CN106488204A (zh) * 2015-09-02 2017-03-08 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
CN106488204B (zh) * 2015-09-02 2018-06-15 财团法人工业技术研究院 具备自身校准的深度摄影装置以及自身校准方法
US10742961B2 (en) 2015-09-02 2020-08-11 Industrial Technology Research Institute Depth sensing apparatus with self-calibration and self-calibration method thereof
CN106131488A (zh) * 2016-07-12 2016-11-16 北京仿真中心 一种基于无人机的增强现实方法
CN106131488B (zh) * 2016-07-12 2018-10-16 北京仿真中心 一种基于无人机的增强现实方法
CN106340064A (zh) * 2016-08-25 2017-01-18 北京大视景科技有限公司 一种混合现实沙盘装置和方法
CN106340064B (zh) * 2016-08-25 2019-02-01 北京大视景科技有限公司 一种混合现实沙盘装置和方法
CN109643455A (zh) * 2017-06-16 2019-04-16 深圳市柔宇科技有限公司 摄像头标定方法和终端
WO2018227580A1 (zh) * 2017-06-16 2018-12-20 深圳市柔宇科技有限公司 摄像头标定方法和终端
CN109643455B (zh) * 2017-06-16 2021-05-04 深圳市柔宇科技股份有限公司 摄像头标定方法和终端

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
CN103500471A (zh) 实现高分辨率增强现实系统的方法
KR101885780B1 (ko) 3 차원 비디오를 위한 카메라 시스템
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
CN109064397B (zh) 一种基于摄像耳机的图像拼接方法及系统
KR102170182B1 (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
US20120300020A1 (en) Real-time self-localization from panoramic images
US20110285810A1 (en) Visual Tracking Using Panoramas on Mobile Devices
WO2010028559A1 (zh) 图像拼接方法及装置
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
JP2016218905A (ja) 情報処理装置、情報処理方法、及びプログラム
US10063792B1 (en) Formatting stitched panoramic frames for transmission
CN108958469B (zh) 一种基于增强现实的在虚拟世界增加超链接的方法
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
WO2021136386A1 (zh) 数据处理方法、终端和服务器
CN102256061A (zh) 一种二维三维混合的视频稳定方法
CN109690568A (zh) 一种处理方法及移动设备
CN109448105B (zh) 基于多深度图像传感器的三维人体骨架生成方法及系统
WO2023155532A1 (zh) 位姿检测方法及装置、电子设备和存储介质
CN111652933B (zh) 基于单目相机的重定位方法、装置、存储介质与电子设备
CN110245549A (zh) 实时面部和对象操纵
TWI615808B (zh) 全景即時影像處理方法
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140108