CN111583310B - 一种用于虚拟现实和增强现实设备的虚实配准方法及装置 - Google Patents

一种用于虚拟现实和增强现实设备的虚实配准方法及装置 Download PDF

Info

Publication number
CN111583310B
CN111583310B CN202010352874.9A CN202010352874A CN111583310B CN 111583310 B CN111583310 B CN 111583310B CN 202010352874 A CN202010352874 A CN 202010352874A CN 111583310 B CN111583310 B CN 111583310B
Authority
CN
China
Prior art keywords
virtual
cameras
machine
computer
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010352874.9A
Other languages
English (en)
Other versions
CN111583310A (zh
Inventor
黄凯凯
张琦
曹俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Ruiyue Information Technology Co ltd
Original Assignee
Nanjing Ruiyue Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Ruiyue Information Technology Co ltd filed Critical Nanjing Ruiyue Information Technology Co ltd
Priority to CN202010352874.9A priority Critical patent/CN111583310B/zh
Publication of CN111583310A publication Critical patent/CN111583310A/zh
Application granted granted Critical
Publication of CN111583310B publication Critical patent/CN111583310B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种用于虚拟现实和增强现实设备的虚实配准方法及装置，通过相机拍摄的图像推算投影矩阵，避免由人眼设置带来的主观误差；可根据实际情况调整测试图案和虚拟物体的大小、距离，可适应于不同机型；只需要两台相机和电脑且固定结构，在操作中不需要移动装置，操作方便；能够有效减小因设备组装差异大而造成的虚实不匹配。

Description

一种用于虚拟现实和增强现实设备的虚实配准方法及装置
技术领域
本发明属于虚拟现实和增强现实技术领域，尤其是一种用于虚拟现实和增强现实设备的虚实配准方法及装置。
背景技术
虚实配准是VR和AR一体机中非常重要的部分，是为了实现虚拟物体的大小和距离可以和现实相匹配。目前大多数使用人工手段进行统一设置。目前以人工手段进行统一设置，但一体机组装时会存在偏差，如果偏差过大就会引起虚实不匹配、不对焦等状况。
发明内容
本发明所解决的技术问题在于提供一种用于虚拟现实和增强现实设备的虚实配准方法及装置，通过相机拍摄的图像推算投影矩阵，避免由人眼设置带来的主观误差，在操作中不需要移动装置，操作方便，在实现自动配准的同时，可对每个机器进行针对性设置，避免因组装误差引起的问题。
实现本发明目的的技术解决方案为：
一种用于虚拟现实和增强现实设备的虚实配准方法，包括以下步骤：
步骤1：在电脑中设置阈值，将电脑中的测试图像输入到一体机中，一体机的左、右屏幕分别满屏显示上述测试图像，所述阈值的范围为5％-10％，一体机为AR一体机或VR一体机；
步骤2：对两个间距为瞳距的相机进行双目标定，获得相机内参并输入到电脑中，两个相机分别拍摄一体机左、右屏幕的图像并输入到电脑中；
步骤3：电脑识别两个相机拍摄的图像，并结合相机内参，分别计算左、右屏幕的投影矩阵并输入到一体机中；
步骤4：一体机的左、右屏幕根据投影矩阵分别投影显示一个具有一定大小、距离为S1的三维的虚拟物体图像；
步骤5：两个相机分别拍摄一体机左、右屏幕显示的虚拟物体图像并输入到电脑中；
步骤6：电脑识别两个相机拍摄的虚拟物体图像，并结合相机内参，采用双目识别算法计算得到虚拟物体的距离S2；
步骤7：计算误差p＝(S2-S1)/S1，判断误差是否超过电脑中的预设阈值，若误差＜预设阈值，则虚实配准设置完成，否则返回步骤1。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准方法，所述相机为无畸变相机，或经过畸变矫正的相机。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准方法，所述两个相机的间距为64mm。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准方法，所述AR一体机置于暗室中，或由遮光布遮挡其镜片前面。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准方法，步骤3中计算投影矩阵的参数如下：
near＝f*(0.032*as/mx)
left＝-0.032*(1+ds*as/mx)
right＝0.032*(1-ds*as/mx)
top＝0.032*(my+dt*as)/mx
bottom＝-0.032*(my-dt*as)/mx
其中，near为近平面距离，left为近平面中心到最左边距离，right为近平面中心到最右边距离，top为近平面中心到最上边距离，bottom为近平面中心到最下边距离，f为相机内参中的焦距，as为圆的间隔距离与屏幕一半大小的比值，ds为中间圆到画面中心的水平偏差，dt为中间圆到画面中心的竖直偏差，mx为相邻圆的水平方向平均间隔，my为相邻圆的竖直方向平均间隔，正负号规则为右为正、左为负、下为正、上为负。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准方法，步骤1中阈值设为5％。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准方法，步骤4中的虚拟物体图像为棋盘格，或线框。
一种基于上述任一的用于虚拟现实和增强现实设备的虚实配准方法的装置，包括两个相机、一体机和电脑，相机、一体机均与电脑通信连接，所述两个相机分别对准一体机的左、右屏幕，两个相机均为无畸变相机或经过畸变矫正且间距为瞳距，一体机为AR一体机或VR一体机。
进一步的，本发明的用于虚拟现实和增强现实设备的虚实配准装置，所述AR一体机置于暗室中，或由遮光布遮挡其镜片前面。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1、本发明的用于虚拟现实和增强现实设备的虚实配准方法通过相机拍摄的图像推算投影矩阵，避免由人眼设置带来的主观误差。
2、本发明的用于虚拟现实和增强现实设备的虚实配准方法可根据实际情况调整测试图案和虚拟物体的大小、距离，可适应于不同机型。
3、本发明的用于虚拟现实和增强现实设备的虚实配准方法简单便捷，只需要两台相机和电脑且固定结构，在操作中不需要移动装置，操作方便。
4、本发明的用于虚拟现实和增强现实设备的虚实配准方法和装置能够有效减小因设备组装差异大而造成的虚实不匹配。
附图说明
图1是本发明的用于虚拟现实和增强现实设备的虚实配准方法的流程图。
图2是本发明的用于虚拟现实和增强现实设备的虚实配准装置的结构示意图。
图3是本发明的用于虚拟现实和增强现实设备的虚实配准方法的一体机左、右屏幕显示的测试图像。
图4是本发明的用于虚拟现实和增强现实设备的虚实配准方法的电脑识别两个相机拍摄的图像。
图5是本发明的用于虚拟现实和增强现实设备的虚实配准方法步骤3中计算投影矩阵公式的符号示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
一种用于虚拟现实和增强现实设备的虚实配准方法，包括以下步骤：
步骤1：在电脑中设置阈值，将电脑中的测试图像输入到一体机中，一体机的左、右屏幕分别满屏显示上述测试图像，所述阈值是计算得到的距离与设置的距离之间差异的容许值，一般设置范围为5％-10％，一体机为AR一体机或VR一体机；
步骤2：对两个间距为瞳距的相机进行双目标定，获得相机内参并输入到电脑中，两个相机分别拍摄一体机左、右屏幕的图像并输入到电脑中；
步骤3：电脑识别两个相机拍摄的图像，并结合相机内参，分别计算左、右屏幕的投影矩阵并输入到一体机中；
步骤4：一体机的左、右屏幕根据投影矩阵分别投影显示一个具有一定大小、距离为S1的三维的虚拟物体图像；
步骤5：两个相机分别拍摄一体机左、右屏幕显示的虚拟物体图像并输入到电脑中；
步骤6：电脑识别两个相机拍摄的虚拟物体图像，并结合相机内参，采用双目识别算法计算得到虚拟物体的距离S2；
步骤7：计算误差p＝(S2-S1)/S1，判断误差是否超过电脑中的预设阈值，若误差＜预设阈值，则虚实配准设置完成，否则返回步骤1。
一种基于上述任一的用于虚拟现实和增强现实设备的虚实配准方法的装置，包括两个相机、一体机和电脑，相机、一体机均与电脑通信连接，所述两个相机分别对准一体机的左、右屏幕，两个相机均为无畸变相机或经过畸变矫正且间距为瞳距，所述一体机置于暗室中，或由遮光布遮挡其镜片。
实施例1
一种用于虚拟现实和增强现实设备的虚实配准方法，如图1所示，包括以下步骤：
步骤1：在电脑中设置阈值为5％，将电脑中的测试图像输入到一体机中，一体机的左、右屏幕分别满屏显示上述测试图像，如图3所示。所述一体机为AR一体机则置于暗室中，或由遮光布遮挡其镜片前面。若一体机为VR一体机，则不需要特殊处理
步骤2：对两个间距为瞳距(一般设置为64mm)的相机进行双目标定，获得相机内参并输入到电脑中。所述相机为无畸变相机，或经过畸变矫正的相机。两个相机分别拍摄一体机左、右屏幕的图像并输入到电脑中。
步骤3：电脑识别两个相机拍摄的图像，如图4所示，并结合相机内参，分别计算左、右屏幕的投影矩阵并输入到一体机中。其中，计算投影矩阵的参数如下：
near＝f*(0.032*as/mx)
left＝-0.032*(1+ds*as/mx)
right＝0.032*(1-ds*as/mx)
top＝0.032*(my+dt*as)/mx
bottom＝-0.032*(my-dt*as)/mx
其中，near为近平面距离，left为近平面中心到最左边距离，right为近平面中心到最右边距离，top为近平面中心到最上边距离，bottom为近平面中心到最下边距离。如图5所示，as＝0.7为圆的间隔距离与屏幕一半大小的比值；ds为中间圆到画面中心的水平偏差，右侧为正，左侧为负；dt为中间圆到画面中心的竖直偏差，下方为正，上方为负；mx为相邻圆的水平方向平均间隔；my为相邻圆的竖直方向平均间隔；f为相机内参中的焦距。
得到左屏幕的投影矩阵参数如下：near＝0.100586，left＝-0.031221，right＝0.032779，top＝0.017928，bottom＝-0.018062，far＝1000。其中far为远平面距离，属于人为设定，需要大于near值。同理得到右屏幕的投影矩阵参数。
然后根据上述参数和投影矩阵计算公式得到的左、右屏幕投影矩阵，投影矩阵计算公式为现有技术，可参考下列链接中的透视投影：https://www.jianshu.com/p/3f3a0aabdb3c。
步骤4：一体机的左、右屏幕根据投影矩阵分别投影显示一个具有一定大小、距离为0.7米的3D虚拟棋盘格图像。
步骤5：两个相机分别拍摄一体机左、右屏幕显示的虚拟棋盘格图像并输入到电脑中。
步骤6：电脑识别两个相机拍摄的虚拟棋盘格图像，并结合相机内参，采用双目识别算法计算得到虚拟棋盘格的距离为0.67米。
步骤7：计算误差p＝(S2-S1)/S1＝4.3％，判断误差p＝4.3％＜预设阈值5％，则虚实配准设置完成。
一种基于上述用于虚拟现实和增强现实设备的虚实配准方法的装置，如图2所示，包括两个相机、一体机和电脑，相机、一体机均与电脑通信连接，所述两个相机分别对准一体机的左、右屏幕，两个相机均为无畸变相机或经过畸变矫正且间距为瞳距，所述一体机置于暗室中，或由遮光布遮挡其镜片。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进应视为本发明的保护范围。

Claims (8)

1.一种用于虚拟现实和增强现实设备的虚实配准方法，其特征在于，包括以下步骤：
步骤1：在电脑中设置阈值，将电脑中的测试图像输入到一体机中，一体机的左、右屏幕分别满屏显示上述测试图像，所述阈值的范围为5%-10%，一体机为AR一体机或VR一体机；
步骤2：对两个间距为瞳距的相机进行双目标定，获得相机内参并输入到电脑中，两个相机分别拍摄一体机左、右屏幕的图像并输入到电脑中；
步骤3：电脑识别两个相机拍摄的图像，并结合相机内参，分别计算左、右屏幕的投影矩阵并输入到一体机中；其中，计算投影矩阵的参数如下：
near=f*(0.032*as/mx)
left=-0.032*(1+ds*as/mx)
right=0.032*(1-ds*as/mx)
top=0.032*(my+dt*as)/mx
bottom=-0.032*(my-dt*as)/mx
其中，near为近平面距离，left为近平面中心到最左边距离，right为近平面中心到最右边距离，top为近平面中心到最上边距离，bottom为近平面中心到最下边距离，f为相机内参中的焦距，as为圆的间隔距离与屏幕一半大小的比值，ds为中间圆到画面中心的水平偏差，dt为中间圆到画面中心的竖直偏差，mx为相邻圆的水平方向平均间隔，my为相邻圆的竖直方向平均间隔，正负号规则为右为正、左为负、下为正、上为负；
步骤4：一体机的左、右屏幕根据投影矩阵分别投影显示一个具有一定大小、距离为S1的三维的虚拟物体图像；
步骤5：两个相机分别拍摄一体机左、右屏幕显示的虚拟物体图像并输入到电脑中；
步骤6：电脑识别两个相机拍摄的虚拟物体图像，并结合相机内参，采用双目识别算法计算得到虚拟物体的距离S2；
步骤7：计算误差p=(S2-S1)/S1，判断误差是否超过电脑中的预设阈值，若误差＜预设阈值，则虚实配准设置完成，否则返回步骤1。
2.根据权利要求1所述的用于虚拟现实和增强现实设备的虚实配准方法，其特征在于，所述相机为无畸变相机，或经过畸变矫正的相机。
3.根据权利要求1或2所述的用于虚拟现实和增强现实设备的虚实配准方法，其特征在于，所述两个相机的间距为64mm。
4.根据权利要求1所述的用于虚拟现实和增强现实设备的虚实配准方法，其特征在于，所述AR一体机置于暗室中，或由遮光布遮挡其镜片前面。
5.根据权利要求1所述的用于虚拟现实和增强现实设备的虚实配准方法，其特征在于，步骤1中阈值设为5%。
6.根据权利要求1所述的用于虚拟现实和增强现实设备的虚实配准方法，其特征在于，步骤4中的虚拟物体图像为棋盘格，或线框。
7.一种基于权利要求1-6任一所述的用于虚拟现实和增强现实设备的虚实配准方法的装置，其特征在于，包括两个相机、一体机和电脑，相机、一体机均与电脑通信连接，所述两个相机分别对准一体机的左、右屏幕，两个相机均为无畸变相机或经过畸变矫正且间距为瞳距，一体机为AR一体机或VR一体机。
8.根据权利要求7所述的用于虚拟现实和增强现实设备的虚实配准方法的装置，其特征在于，所述AR一体机置于暗室中，或由遮光布遮挡其镜片前面。
CN202010352874.9A 2020-04-29 2020-04-29 一种用于虚拟现实和增强现实设备的虚实配准方法及装置 Active CN111583310B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010352874.9A CN111583310B (zh) 2020-04-29 2020-04-29 一种用于虚拟现实和增强现实设备的虚实配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010352874.9A CN111583310B (zh) 2020-04-29 2020-04-29 一种用于虚拟现实和增强现实设备的虚实配准方法及装置

Publications (2)

Publication Number Publication Date
CN111583310A CN111583310A (zh) 2020-08-25
CN111583310B true CN111583310B (zh) 2023-06-30

Family

ID=72113156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010352874.9A Active CN111583310B (zh) 2020-04-29 2020-04-29 一种用于虚拟现实和增强现实设备的虚实配准方法及装置

Country Status (1)

Country Link
CN (1) CN111583310B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023110841A1 (en) 2021-12-13 2023-06-22 Loft Dynamics Ag Validation system for virtual reality (vr) head mounted display (hmd)
WO2023161224A1 (en) 2022-02-23 2023-08-31 Loft Dynamics Ag Chromatic aberration calibration and validation system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524580B2 (en) * 2014-01-06 2016-12-20 Oculus Vr, Llc Calibration of virtual reality systems
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
CN109801379B (zh) * 2019-01-21 2023-02-17 视辰信息科技(上海)有限公司 通用的增强现实眼镜及其标定方法

Also Published As

Publication number Publication date
CN111583310A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
US10460459B2 (en) Stitching frames into a panoramic frame
US8717352B2 (en) Tracing-type stereo display apparatus and tracing-type stereo display method
EP3163535B1 (en) Wide-area image acquisition method and device
US8300086B2 (en) Image processing for supporting a stereoscopic presentation
CN111583310B (zh) 一种用于虚拟现实和增强现实设备的虚实配准方法及装置
JPWO2017122500A1 (ja) 投影システム、画像処理装置、投影方法およびプログラム
TWI507729B (zh) 頭戴式視覺輔助系統及其成像方法
US11962746B2 (en) Wide-angle stereoscopic vision with cameras having different parameters
WO2006100991A1 (en) Method of and apparatus for automatically adjusting alignement of a projector with respect to a projection screen
US20130141550A1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
TWI606421B (zh) 魚眼相機全自動校正方法及其裝置
CN109857255B (zh) 一种显示参数调节方法、装置以及头戴显示设备
CN109767472B (zh) 一种用于测量眼戴式显示器fov的方法
CN107942514A (zh) 一种虚拟现实设备的图像畸变校正方法及装置
CN107167924A (zh) 一种虚拟现实设备和虚拟现实设备的透镜调节方法
CN103384847A (zh) 用于在自然姿势下确定至少一个与眼镜片在眼镜架内的安装相关联的几何/相貌参数的方法
WO2017133160A1 (zh) 一种智能眼镜透视方法及系统
CN113240592A (zh) 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法
CN105892063B (zh) 外挂屏装置、外挂屏式vr眼镜及屏幕的显示方法和装置
US20080158347A1 (en) Method for displaying stereoscopic image
JP6835080B2 (ja) 情報処理装置、情報処理方法、及びプログラム
TWI489164B (zh) 一種立體調焦法及其系統
TW201928444A (zh) 頭戴式顯示器與調整方法
CN108012139B (zh) 应用于真实感近眼显示的图像生成方法和装置
TWI504936B (zh) 影像處理裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant