CN109979015A - 基于刚体运动学的ar参考物体特征点修正方法 - Google Patents

基于刚体运动学的ar参考物体特征点修正方法 Download PDF

Info

Publication number
CN109979015A
CN109979015A CN201910217914.6A CN201910217914A CN109979015A CN 109979015 A CN109979015 A CN 109979015A CN 201910217914 A CN201910217914 A CN 201910217914A CN 109979015 A CN109979015 A CN 109979015A
Authority
CN
China
Prior art keywords
characteristic point
processor
rigid
formula
rigid body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910217914.6A
Other languages
English (en)
Other versions
CN109979015B (zh
Inventor
张量
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Aile Intelligent Technology Co.,Ltd.
Original Assignee
Suzhou Vocational University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vocational University filed Critical Suzhou Vocational University
Priority to CN201910217914.6A priority Critical patent/CN109979015B/zh
Publication of CN109979015A publication Critical patent/CN109979015A/zh
Application granted granted Critical
Publication of CN109979015B publication Critical patent/CN109979015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于刚体运动学的AR参考物体特征点修正方法。本发明一种基于刚体运动学的AR参考物体特征点修正方法，其特征在于，包括：图像序列中前后两帧的特征点向量集合分别为与根据经典刚体运动原理，参考物体运动因符合刚体运动模型。本发明的有益效果：采用基于刚体运动学的AR参考物体特征点修正算法修正识别偏差的特征点，避免参考坐标因为识别误差而产生抖动，从而提升AR应用中虚拟物体与现实世界融合的稳定性。

Description

基于刚体运动学的AR参考物体特征点修正方法
技术领域
本发明涉及AR领域，具体涉及一种基于刚体运动学的AR参考物体特征点修正方法。
背景技术
增强现实(Augmented Reality，简称AR)，是一种通过实时计算摄影机影像的位置及角度将虚拟的三维物体叠加到真实场景中的技术。为了将虚拟物体精确稳定地融合到真实场景中，需要实时地识别真实场景中参考物体及其位置，从而计算出虚拟物体应当出现的相对位置。目前商用的较为稳定的技术主要有：基于机器视觉识别方案，如：苹果AR Kit、谷歌AR Core以及Vufroia的方案；基于三维空间标定的方案，如：微软Hololens、Oculus的方案。国内也有一些自主方案，但是适用性和稳定性均略逊于前者。
传统技术存在以下技术问题：
如下技术方案(I)对要求参考物体边缘尖锐，或者表面纹理含有丰富的细节。在实际场景中容易受到光照阴影等的影响，导致参照坐标识别产生误差从而导致叠加的虚拟物体或场景产生抖动。这使得技术方案(I)的应用受到了很大的限制。技术方案(II)要求使用专门的传感器进行额外的空间标定。一旦空间场景、场景内物体或者标定传感器位置发生变化，都会导致整个虚拟空间位置错位。需要重新进行标定才能够恢复。缺点在于需要专门的标定仪器、需要进行标定动作、并且标定后不能对空间场景进行调整。
(I)现有技术中(基于AR Kit、AR Core还是Vufroia的方案)均需通过实时识别视频流每一帧图像中参考物体及其特征点位置作为整个虚拟场景的参考坐标。如果前后帧序列图像中参考物体特征点识别有误差，就会造成整个参考坐标的不规则抖动，从而导致在此参考坐标系中叠加的虚拟物体也产生抖动。使得虚拟物体或者场景无法很好地与现实场景进行融合。
如图1所示，AR设备通过一个摄像头获取视频(图像帧序列)，通过识别参考物体的特征点(▲所示)，来确定参考面 所示的位置)。进而可以计算出放置在参考面上的虚拟物体Obj的相对位置。当AR设备发生移动时，(例如：图1中所示，转过一个角度θ时)，可以认为相当于参考平面向相反的方向旋转了相同的角度，记为进而可以推得，放置在其上的物体Obj也旋转了角度此时只要将虚拟物体旋转角度即可保持Obj与参考平面的相对位置不变，从而达到将虚拟物体Obj与现实中的参考平面相融合的效果。平移的处理方式类似，不再赘述。
然而，在实际应用中，由于参考物体形状轮廓、表面纹理的差异，识别出来的特征点经常会出现误差。如图2中所示，有两个点出现误差时，识别出来的参考平面出现了扭曲，与现实世界中的参考平面出现了误差。导致计算出来的虚拟物体的位置也会产生相应的偏差。最终导致虚拟物体并没有贴合在真实世界的参考平面上。这样的情况在每一帧图像序列的参考面特征识别中都有一定的几率(τ)发生。从而导致计算出来的虚拟物体也会以τ几率发生偏移，从而导致虚拟物体产生抖动。导致观看者看到的虚拟物体不是稳当地放在参考面上，而是在参考面上不断地抖动。
(II)现有技术中(基于三维空间标定的方案如：微软Hololens、Oculus 的方案)则需要预先对三维虚拟空间进行标定。空间虚拟坐标一旦标定，不能更改。并且，空间标定需要额外传感器分布在房间内，这极大地限制了其应用范围。
发明内容
本发明要解决的技术问题是提供一种基于刚体运动学的AR参考物体特征点修正方法。
为了解决上述技术问题，本发明提供了1.一种基于刚体运动学的AR参考物体特征点修正方法，其特征在于，包括：图像序列中前后两帧的特征点向量集合分别为与根据经典刚体运动原理，参考物体运动因符合刚体运动模型，如式(1)所示。
其中，表示前一帧参考物体各特征点的位置，表示移动后特征点的位置；A是旋转矩阵θx，θy，θz分别代表刚体绕x,y,z轴的旋转角度；是位移系数；
通过前后两帧特征点拟合刚体运动方程Equ.(1)得到旋转系数Ac与位移系数得到当前运动方程，如式(2)所示。
将前一帧特征数据代入式(2)，根据当前刚体运动特征计算下一帧的位置，记为
计算特征点误差Δui如式(3)所示；当偏差Δui超过阈值δs时，认为特征点发生了偏差，则将特征点从原特征点集合U中剔除，
重新拟合运动方程(1),得到准确的旋转系数Ac_corr与位移系数
使用准确的旋转系数Ac_corr与位移系数通过式(2)计算误差特征点的准确位置并将其替换错误的特征点位置，即：
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一项所述方法的步骤。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行任一项所述的方法。
本发明的有益效果：
采用基于刚体运动学的AR参考物体特征点修正算法修正识别偏差的特征点，避免参考坐标因为识别误差而产生抖动，从而提升AR应用中虚拟物体与现实世界融合的稳定性。
附图说明
图1是传统技术的原理示意图。
图2是本发明基于刚体运动学的AR参考物体特征点修正方法的原理示意图。
图3是本发明基于刚体运动学的AR参考物体特征点修正方法的流程示意图。
其中，图1中▲代表识别的特征点，代表识别的特征平面，代表 AR图像(视频截取设备)，θ设备移动角度，θ’代表虚拟物体移动角度
代表识别有误差的特征点，δΔi代表误差；
图2中，▲代表原始(前一帧)特征点，▇代表移动后征点(可见U'2、 U′3发生了偏差标记为通过本算法修正后，回到正确位置，标记为▇。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本专利提出了一种基于刚体运动学的AR参考物体特征点修正算法。
采用基于刚体运动学的AR参考物体特征点修正算法修正识别偏差的特征点，避免参考坐标因为识别误差而产生抖动，从而提升AR应用中虚拟物体与现实世界融合的稳定性。
原理：由于现实世界中的参考物体是刚体，不会产生扭曲和形变。所以，在AR应用将虚拟物体和现实世界融合的过程中，参考物体上的所有特征点，均应当满足统一的刚体运动特征。
算法：假设图像序列中前后两帧的特征点向量集合分别为与根据经典刚体运动原理，参考物体运动因符合刚体运动模型，如式(1) 所示。
其中表示前一帧参考物体各特征点的位置，表示移动后特征点的位置。A是旋转矩阵θx，θy，θz分别代表刚体绕x,y,z轴的旋转角度。是位移系数。
Step1:通过前后两帧特征点拟合刚体运动方程Equ.(1)得到旋转系数Ac与位移系数得到当前运动方程，如式(2)所示。
Step2:将前一帧特征数据代入式(2)，根据当前刚体运动特征计算下一帧的位置，记为
Step3：计算特征点误差Δui如式(3)所示。当偏差Δui超过阈值δs时，认为特征点发生了偏差，则将特征点从原特征点集合U中剔除，
Step4：重新拟合运动方程(1),得到准确的旋转系数Ac_corr与位移系数
Step5：使用准确的旋转系数Ac_corr与位移系数通过式(2)计算误差特征点的准确位置并将其替换错误的特征点位置。即：
至此，所有均符合统一的刚体运动特征，因此保证了参考平面和虚拟物体运动的稳定性，消除了虚拟物体抖动现象。
算法的修正过程示意图如图3所示。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (4)

1.一种基于刚体运动学的AR参考物体特征点修正方法，其特征在于，包括：图像序列中前后两帧的特征点向量集合分别为与根据经典刚体运动原理，参考物体运动因符合刚体运动模型，如式(1)所示。
其中，表示前一帧参考物体各特征点的位置，表示移动后特征点的位置；A是旋转矩阵θx，θy，θz分别代表刚体绕x,y,z轴的旋转角度；是位移系数；
通过前后两帧特征点拟合刚体运动方程Equ.(1)得到旋转系数Ac与位移系数得到当前运动方程，如式(2)所示；
将前一帧特征数据代入式(2)，根据当前刚体运动特征计算下一帧的位置，记为
计算特征点误差Δui如式(3)所示；当偏差Δui超过阈值δs时，认为特征点发生了偏差，则将特征点从原特征点集合U中剔除，
重新拟合运动方程(1),得到准确的旋转系数Ac_corr与位移系数
使用准确的旋转系数Ac_corr与位移系数通过式(2)计算误差特征点的准确位置并将其替换错误的特征点位置。即：
2.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1所述方法的步骤。
3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1所述方法的步骤。
4.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1所述的方法。
CN201910217914.6A 2019-03-21 2019-03-21 基于刚体运动学的ar参考物体特征点修正方法 Active CN109979015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910217914.6A CN109979015B (zh) 2019-03-21 2019-03-21 基于刚体运动学的ar参考物体特征点修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910217914.6A CN109979015B (zh) 2019-03-21 2019-03-21 基于刚体运动学的ar参考物体特征点修正方法

Publications (2)

Publication Number Publication Date
CN109979015A true CN109979015A (zh) 2019-07-05
CN109979015B CN109979015B (zh) 2019-12-13

Family

ID=67079872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910217914.6A Active CN109979015B (zh) 2019-03-21 2019-03-21 基于刚体运动学的ar参考物体特征点修正方法

Country Status (1)

Country Link
CN (1) CN109979015B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
CN101976464A (zh) * 2010-11-03 2011-02-16 北京航空航天大学 基于单应性矩阵的多平面动态的增强现实注册的方法
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
US20080075358A1 (en) * 2006-09-27 2008-03-27 Electronics And Telecommunications Research Institute Apparatus for extracting camera motion, system and method for supporting augmented reality in ocean scene using the same
CN101976464A (zh) * 2010-11-03 2011-02-16 北京航空航天大学 基于单应性矩阵的多平面动态的增强现实注册的方法
CN108460779A (zh) * 2018-02-12 2018-08-28 浙江大学 一种动态环境下的移动机器人图像视觉定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRIS WARRINGTON等: "Markerless augmented reality for cubic panorama sequences", 《2006 IEEE/ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY》 *
SUMAN BHAKAR等: "Detection time of machine by posit algorithm through augmented reality", 《2017 INTERNATIONAL CONFERENCE ON INTELLIGENT COMMUNICATION AND COMPUTATIONAL TECHNIQUES》 *

Also Published As

Publication number Publication date
CN109979015B (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
Schöps et al. Surfelmeshing: Online surfel-based mesh reconstruction
CN105913489B (zh) 一种利用平面特征的室内三维场景重构方法
CN108364319B (zh) 尺度确定方法、装置、存储介质及设备
Wei et al. Fisheye video correction
US8953847B2 (en) Method and apparatus for solving position and orientation from correlated point features in images
Zhang et al. Structure and motion from line correspondences: Representation, projection, initialization and sparse bundle adjustment
JP3651590B2 (ja) 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法
JP5291605B2 (ja) カメラ姿勢推定装置およびカメラ姿勢推定プログラム
CN108062791A (zh) 一种重建人脸三维模型的方法和装置
CA3034058C (en) Real-time hand modeling and tracking using sphere-mesh models
JP7300550B2 (ja) 視覚標識に基づき標識マップを構築する方法、装置
Kim et al. Motion estimation for nonoverlapping multicamera rigs: Linear algebraic and L∞ geometric solutions
CN109961523A (zh) 虚拟目标的更新方法、装置、系统、设备及存储介质
WO2023116430A1 (zh) 视频与城市信息模型三维场景融合方法、系统及存储介质
CN109741399A (zh) 基于旋转拍摄的预计算相机标定方法
Kang et al. Gradient flow evolution for 3D fusion from a single depth sensor
CN106408654B (zh) 一种三维地图的创建方法及系统
CN111915739A (zh) 一种实时三维全景信息互动影息系统
CN109979015A (zh) 基于刚体运动学的ar参考物体特征点修正方法
Lee et al. Large motion estimation for omnidirectional vision
CN114882194A (zh) 房间点云数据的处理方法和装置、电子设备和存储介质
CN112967329A (zh) 图像数据优化方法、装置、电子设备及存储介质
Ren et al. Geometry-aware ICP for scene reconstruction from RGB-D camera
CN112907669A (zh) 基于共面特征点的相机位姿测量方法及装置
Vera et al. Relevance of Accurately Determining the Center of Radial Distortion in 3-D Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230301

Address after: 239, Building 6, Huabang Business Plaza, No. 988, Zhongshan South Road, Songling Town, Wujiang District, Suzhou City, Jiangsu Province, 215000

Patentee after: Suzhou Yuheng Information Technology Co.,Ltd.

Address before: Suzhou Vocational University, International Education Park, No. 106, Zhineng Avenue, Wuzhong District, Suzhou, Jiangsu 215104

Patentee before: SUZHOU VOCATIONAL University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230801

Address after: Room 1308, building 4, No. 209 Zhuyuan Road, high tech Zone, Suzhou, Jiangsu 215000

Patentee after: Suzhou Aile Intelligent Technology Co.,Ltd.

Address before: 239, Building 6, Huabang Business Plaza, No. 988, Zhongshan South Road, Songling Town, Wujiang District, Suzhou City, Jiangsu Province, 215000

Patentee before: Suzhou Yuheng Information Technology Co.,Ltd.

TR01 Transfer of patent right