CN106249881A - 增强现实视场空间和虚拟三维目标动态配准方法 - Google Patents

增强现实视场空间和虚拟三维目标动态配准方法 Download PDF

Info

Publication number
CN106249881A
CN106249881A CN201610582291.9A CN201610582291A CN106249881A CN 106249881 A CN106249881 A CN 106249881A CN 201610582291 A CN201610582291 A CN 201610582291A CN 106249881 A CN106249881 A CN 106249881A
Authority
CN
China
Prior art keywords
augmented reality
view field
virtual
registering
connected domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610582291.9A
Other languages
English (en)
Other versions
CN106249881B (zh
Inventor
王立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Augurit As Special Mdt Infotech Ltd
Original Assignee
Jiangsu Augurit As Special Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Augurit As Special Mdt Infotech Ltd filed Critical Jiangsu Augurit As Special Mdt Infotech Ltd
Priority to CN201610582291.9A priority Critical patent/CN106249881B/zh
Publication of CN106249881A publication Critical patent/CN106249881A/zh
Application granted granted Critical
Publication of CN106249881B publication Critical patent/CN106249881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实视场空间和虚拟三维目标动态配准方法，包括以下步骤：获取真实场景信息和相机位置信息；通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，按照仿射变换矩阵在视平面上绘制虚拟物体，通过光学透视头盔显示器显示，得到增强现实系统图像；对图像进行二值化分割，根据分割后图像的灰度特性判断哪些部分属于环境背景，哪些部分属于标志物；对二值图像做连通域分析，在图像中搜索面积较大的黑色像素区域来确定标识投影区域；在标识投影区域上提取曲率变化较大的点，从而定义连通域的形状；在图像系统中将连通域的形状与三维模型对应起来，得出标识物的正确三维模型。

Description

增强现实视场空间和虚拟三维目标动态配准方法
技术领域
本发明涉及图像处理领域，尤其涉及一种增强现实视场空间和虚拟三维目标动态配准方法。
背景技术
增强现实系统中，配准主要是指计算机产生的虚拟物体与用户周围的真实环境全方位对准。要求用户在真实环境的运动过程中维持正确的配准关系，较大的配准误差不仅使用户不能从感官上确认虚拟物体在真实环境中的存在性和一体性，甚至会改变用户对周围环境的感觉，严重的配准误差甚至会导致完全错误的行为。
有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种增强现实视场空间和虚拟三维目标动态配准方法，使其更具有产业上的利用价值。
发明内容
为解决上述技术问题，本发明的目的是提供一种能够保证正确的配准关系，提高配准精度的增强现实视场空间和虚拟三维目标动态配准方法。
本发明提出的一种增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：包括以下步骤：
步骤(1)：获取真实场景信息和相机位置信息；
步骤(2)：通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过光学透视头盔显示器显示，得到增强现实系统图像；
步骤(3)：对光学透视头盔显示器显示的图像进行二值化分割，根据分割后图像的灰度特性判断增强现实系统图像中哪些部分属于环境背景，哪些部分属于标志物；
步骤(4)：对二值图像做连通域分析，通过在二值图像中搜索面积较大的黑色像素区域来确定标识投影区域；
步骤(5)：在标识投影区域上提取曲率变化较大的点，从而精确定义连通域的形状；
步骤(6)：在图像系统中将连通域的形状与三维模型对应起来，得出匹配结果，根据匹配结果得出标识物的正确三维模型。
进一步的，步骤(1)中所述的获取真实场景信息和相机位置信息的方式是通过采用摄像装置及光敏器件接收具有几何分布的光源和图像，然后通过计算获得信息。
进一步的，步骤(2)中所述计算虚拟物体坐标到相机视平面的仿射变换的方式是通过空间点的三维坐标位置选择真实场景中的虚拟物体。
进一步的，步骤(3)中所述的二值化分割方式是采用直方图阈值分割法。
进一步的，步骤(4)中所述的连通域分析包括以下步骤：
步骤(4.1)：从整个二值图像中搜索黑色像素，搜索从图像的左上角开始，以行序为准依次进行；
步骤(4.2)：对于一个检测到的黑色像素，将其标志位设置为已扫描，并构建以该像素为中心的大小我3*3的搜索临域；
步骤(4.3)：以递归的方式在上一步中构建的搜索临域内查找黑色像素，同时根据查找结果重新构建搜索临域；
步骤(4.4)：重复上述递归过程直到无法获取新的黑色像素为止，并将这些位置相邻的黑色像素纳入同一个连通域；
步骤(4.5)：继续检查下一个未扫描像素，查找更多的连通区域。
进一步的，步骤(5)中所述的提取曲率变化较大的点为每一个连通域上四个曲率变化较大的角点。
借由上述方案，本发明至少具有以下优点：该增强现实视场空间和虚拟三维目标动态配准方法能够保证正确的配准关系，提高配准精度，提高用户感官上的真实性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例详细说明如后。
具体实施方式
下面结合实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例：一种增强现实视场空间和虚拟三维目标动态配准方法，包括以下步骤：
步骤(1)：获取真实场景信息和相机位置信息；
步骤(2)：通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过光学透视头盔显示器显示，得到增强现实系统图像；
步骤(3)：对光学透视头盔显示器显示的图像进行二值化分割，根据分割后图像的灰度特性判断增强现实系统图像中哪些部分属于环境背景，哪些部分属于标志物；
步骤(4)：对二值图像做连通域分析，通过在二值图像中搜索面积较大的黑色像素区域来确定标识投影区域；
步骤(5)：在标识投影区域上提取曲率变化较大的点，从而精确定义连通域的形状；
步骤(6)：在图像系统中将连通域的形状与三维模型对应起来，得出匹配结果，根据匹配结果得出标识物的正确三维模型。
步骤(1)中所述的获取真实场景信息和相机位置信息的方式是通过采用摄像装置及光敏器件接收具有几何分布的光源和图像，然后通过计算获得信息。
步骤(2)中所述计算虚拟物体坐标到相机视平面的仿射变换的方式是通过空间点的三维坐标位置选择真实场景中的虚拟物体。
步骤(3)中所述的二值化分割方式是采用直方图阈值分割法。
步骤(4)中所述的连通域分析包括以下步骤：
步骤(4.1)：从整个二值图像中搜索黑色像素，搜索从图像的左上角开始，以行序为准依次进行；
步骤(4.2)：对于一个检测到的黑色像素，将其标志位设置为已扫描，并 构建以该像素为中心的大小我3*3的搜索临域；
步骤(4.3)：以递归的方式在上一步中构建的搜索临域内查找黑色像素，同时根据查找结果重新构建搜索临域；
步骤(4.4)：重复上述递归过程直到无法获取新的黑色像素为止，并将这些位置相邻的黑色像素纳入同一个连通域；
步骤(4.5)：继续检查下一个未扫描像素，查找更多的连通区域。
步骤(5)中所述的提取曲率变化较大的点为每一个连通域上四个曲率变化较大的角点。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (6)

1.一种增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：包括以下步骤：
步骤(1)：获取真实场景信息和相机位置信息；
步骤(2)：通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过光学透视头盔显示器显示，得到增强现实系统图像；
步骤(3)：对光学透视头盔显示器显示的图像进行二值化分割，根据分割后图像的灰度特性判断增强现实系统图像中哪些部分属于环境背景，哪些部分属于标志物；
步骤(4)：对二值图像做连通域分析，通过在二值图像中搜索面积较大的黑色像素区域来确定标识投影区域；
步骤(5)：在标识投影区域上提取曲率变化较大的点，从而精确定义连通域的形状；
步骤(6)：在图像系统中将连通域的形状与三维模型对应起来，得出匹配结果，根据匹配结果得出标识物的正确三维模型。
2.根据权利要求1所述的增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：步骤(1)中所述的获取真实场景信息和相机位置信息的方式是通过采用摄像装置及光敏器件接收具有几何分布的光源和图像，然后通过计算获得信息。
3.根据权利要求2所述的增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：步骤(2)中所述计算虚拟物体坐标到相机视平面的仿射变换的方式是通过空间点的三维坐标位置选择真实场景中的虚拟物体。
4.根据权利要求3所述的增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：步骤(3)中所述的二值化分割方式是采用直方图阈值分割法。
5.根据权利要求4所述的增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：步骤(4)中所述的连通域分析包括以下步骤：
步骤(4.1)：从整个二值图像中搜索黑色像素，搜索从图像的左上角开始，以行序为准依次进行；
步骤(4.2)：对于一个检测到的黑色像素，将其标志位设置为已扫描，并构建以该像素为中心的大小我3*3的搜索临域；
步骤(4.3)：以递归的方式在上一步中构建的搜索临域内查找黑色像素，同时根据查找结果重新构建搜索临域；
步骤(4.4)：重复上述递归过程直到无法获取新的黑色像素为止，并将这些位置相邻的黑色像素纳入同一个连通域；
步骤(4.5)：继续检查下一个未扫描像素，查找更多的连通区域。
6.根据权利要求5所述的增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：步骤(5)中所述的提取曲率变化较大的点为每一个连通域上四个曲率变化较大的角点。
CN201610582291.9A 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法 Active CN106249881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610582291.9A CN106249881B (zh) 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610582291.9A CN106249881B (zh) 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法

Publications (2)

Publication Number Publication Date
CN106249881A true CN106249881A (zh) 2016-12-21
CN106249881B CN106249881B (zh) 2019-03-19

Family

ID=57603611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610582291.9A Active CN106249881B (zh) 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法

Country Status (1)

Country Link
CN (1) CN106249881B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762501A (zh) * 2018-05-23 2018-11-06 歌尔科技有限公司 Ar显示方法、智能终端、ar设备及系统
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109310476A (zh) * 2016-03-12 2019-02-05 P·K·朗 用于手术的装置与方法
CN109658523A (zh) * 2018-12-10 2019-04-19 西安小明出行新能源科技有限公司 利用ar增强现实应用实现车辆各功能使用说明的方法
CN109685905A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的小区规划方法和系统
CN109692487A (zh) * 2018-12-06 2019-04-30 安徽教育网络出版有限公司 一种黄梅戏的增强现实的操作方法
CN109840934A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种工件的三维模型生成方法和系统
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置
CN110097638A (zh) * 2018-01-31 2019-08-06 深圳市掌网科技股份有限公司 基于混合跟踪器的虚拟物绘制方法及装置
CN110120100A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 图像处理方法、装置及识别跟踪系统
CN110120060A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 标记物的识别方法、装置及识别跟踪系统
CN110619674A (zh) * 2019-08-15 2019-12-27 重庆特斯联智慧科技股份有限公司 用于事故和警情场景还原的三维增强现实设备及方法
CN110769225A (zh) * 2018-12-29 2020-02-07 成都极米科技股份有限公司 基于幕布的投影区域获取方法及投影装置
WO2020140524A1 (zh) * 2019-01-02 2020-07-09 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN112651943A (zh) * 2020-12-28 2021-04-13 南京佗道医疗科技有限公司 一种三维影像标记点提取方法
CN113344990A (zh) * 2021-04-27 2021-09-03 成都飞机工业（集团）有限责任公司 孔位表征投影系统及自适应拟合的孔位对齐方法
CN113349928A (zh) * 2021-05-20 2021-09-07 清华大学 用于柔性器械的增强现实手术导航装置及方法
WO2022120714A1 (zh) * 2020-12-10 2022-06-16 西安大医集团股份有限公司 图像分割方法及装置、图像引导系统、放射治疗系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN103297681A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
WO2014172484A1 (en) * 2013-04-16 2014-10-23 DotProduct LLC Handheld portable optical scanner and method of using

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN103297681A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
WO2014172484A1 (en) * 2013-04-16 2014-10-23 DotProduct LLC Handheld portable optical scanner and method of using

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109310476B (zh) * 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
CN109310476A (zh) * 2016-03-12 2019-02-05 P·K·朗 用于手术的装置与方法
CN109685905A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的小区规划方法和系统
CN109840934A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种工件的三维模型生成方法和系统
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置
CN110097638B (zh) * 2018-01-31 2023-04-28 深圳市掌网科技股份有限公司 基于混合跟踪器的虚拟物绘制方法及装置
CN110097638A (zh) * 2018-01-31 2019-08-06 深圳市掌网科技股份有限公司 基于混合跟踪器的虚拟物绘制方法及装置
CN110120100A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 图像处理方法、装置及识别跟踪系统
CN110120060A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 标记物的识别方法、装置及识别跟踪系统
CN108762501A (zh) * 2018-05-23 2018-11-06 歌尔科技有限公司 Ar显示方法、智能终端、ar设备及系统
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109692487A (zh) * 2018-12-06 2019-04-30 安徽教育网络出版有限公司 一种黄梅戏的增强现实的操作方法
CN109658523A (zh) * 2018-12-10 2019-04-19 西安小明出行新能源科技有限公司 利用ar增强现实应用实现车辆各功能使用说明的方法
CN109658523B (zh) * 2018-12-10 2023-05-09 田海玉 利用ar增强现实应用实现车辆各功能使用说明的方法
CN110769225A (zh) * 2018-12-29 2020-02-07 成都极米科技股份有限公司 基于幕布的投影区域获取方法及投影装置
WO2020140524A1 (zh) * 2019-01-02 2020-07-09 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN110619674A (zh) * 2019-08-15 2019-12-27 重庆特斯联智慧科技股份有限公司 用于事故和警情场景还原的三维增强现实设备及方法
WO2022120714A1 (zh) * 2020-12-10 2022-06-16 西安大医集团股份有限公司 图像分割方法及装置、图像引导系统、放射治疗系统
CN112651943A (zh) * 2020-12-28 2021-04-13 南京佗道医疗科技有限公司 一种三维影像标记点提取方法
CN113344990A (zh) * 2021-04-27 2021-09-03 成都飞机工业（集团）有限责任公司 孔位表征投影系统及自适应拟合的孔位对齐方法
CN113344990B (zh) * 2021-04-27 2022-09-20 成都飞机工业（集团）有限责任公司 孔位表征投影系统及自适应拟合的孔位对齐方法
CN113349928A (zh) * 2021-05-20 2021-09-07 清华大学 用于柔性器械的增强现实手术导航装置及方法

Also Published As

Publication number Publication date
CN106249881B (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
CN106249881B (zh) 增强现实视场空间和虚拟三维目标动态配准方法
CN108369741B (zh) 用于配准数据的方法和系统
US7965904B2 (en) Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program
CN106780619B (zh) 一种基于Kinect深度相机的人体尺寸测量方法
CN102612704B (zh) 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
WO2019080229A1 (zh) 基于机器视觉的棋子定位方法、系统、存储介质及机器人
CN107677274B (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN106295512B (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN106446894A (zh) 一种基于轮廓识别球型目标物位置的方法
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN111784775B (zh) 一种标识辅助的视觉惯性增强现实注册方法
CN113011388A (zh) 一种基于车牌及车道线的车辆外轮廓尺寸检测方法
CN115830135A (zh) 一种图像处理方法、装置及电子设备
JP6942566B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
Chen et al. Image stitching algorithm research based on OpenCV
CN105631849B (zh) 多边形目标的变化检测方法及装置
CN117611525A (zh) 一种受电弓滑板磨耗视觉检测方法和系统
CN105184736B (zh) 一种窄重叠双视场高光谱成像仪的图像配准的方法
CN106780577A (zh) 一种基于组特征的直线匹配方法
CN112164118B (zh) 一种地理图像处理系统及方法
CN110674817B (zh) 一种基于双目摄像头的车牌防伪的方法及装置
Lima et al. Texture-less planar object detection and pose estimation using depth-assisted rectification of contours
JPH07146937A (ja) パターンマッチング方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Dynamic registration method of augmented reality field of view space and virtual 3D target

Effective date of registration: 20211124

Granted publication date: 20190319

Pledgee: Shandong Dream Vision Intelligent Technology Co.,Ltd.

Pledgor: JIANGSU AUGUST INFORMATION TECHNOLOGY Inc.

Registration number: Y2021980013202

PE01 Entry into force of the registration of the contract for pledge of patent right