CN106249881B - 增强现实视场空间和虚拟三维目标动态配准方法 - Google Patents

增强现实视场空间和虚拟三维目标动态配准方法 Download PDF

Info

Publication number
CN106249881B
CN106249881B CN201610582291.9A CN201610582291A CN106249881B CN 106249881 B CN106249881 B CN 106249881B CN 201610582291 A CN201610582291 A CN 201610582291A CN 106249881 B CN106249881 B CN 106249881B
Authority
CN
China
Prior art keywords
image
augmented reality
connected domain
view field
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610582291.9A
Other languages
English (en)
Other versions
CN106249881A (zh
Inventor
王立军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Augurit As Special Mdt Infotech Ltd
Original Assignee
Jiangsu Augurit As Special Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Augurit As Special Mdt Infotech Ltd filed Critical Jiangsu Augurit As Special Mdt Infotech Ltd
Priority to CN201610582291.9A priority Critical patent/CN106249881B/zh
Publication of CN106249881A publication Critical patent/CN106249881A/zh
Application granted granted Critical
Publication of CN106249881B publication Critical patent/CN106249881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种增强现实视场空间和虚拟三维目标动态配准方法，包括以下步骤：获取真实场景信息和相机位置信息；通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，按照仿射变换矩阵在视平面上绘制虚拟物体，通过光学透视头盔显示器显示，得到增强现实系统图像；对图像进行二值化分割，根据分割后图像的灰度特性判断哪些部分属于环境背景，哪些部分属于标志物；对二值图像做连通域分析，在图像中搜索面积较大的黑色像素区域来确定标识投影区域；在标识投影区域上提取曲率变化较大的点，从而定义连通域的形状；在图像系统中将连通域的形状与三维模型对应起来，得出标识物的正确三维模型。

Description

增强现实视场空间和虚拟三维目标动态配准方法
技术领域
本发明涉及图像处理领域，尤其涉及一种增强现实视场空间和虚拟三维目标动态配准方法。
背景技术
增强现实系统中，配准主要是指计算机产生的虚拟物体与用户周围的真实环境全方位对准。要求用户在真实环境的运动过程中维持正确的配准关系，较大的配准误差不仅使用户不能从感官上确认虚拟物体在真实环境中的存在性和一体性，甚至会改变用户对周围环境的感觉，严重的配准误差甚至会导致完全错误的行为。
有鉴于上述的缺陷，本设计人，积极加以研究创新，以期创设一种增强现实视场空间和虚拟三维目标动态配准方法，使其更具有产业上的利用价值。
发明内容
为解决上述技术问题，本发明的目的是提供一种能够保证正确的配准关系，提高配准精度的增强现实视场空间和虚拟三维目标动态配准方法。
本发明提出的一种增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：包括以下步骤：
步骤(1)：获取真实场景信息和相机位置信息；
步骤(2)：通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过光学透视头盔显示器显示，得到增强现实系统图像；
步骤(3)：对光学透视头盔显示器显示的图像进行二值化分割，根据分割后图像的灰度特性判断增强现实系统图像中哪些部分属于环境背景，哪些部分属于标志物；
步骤(4)：对二值图像做连通域分析，通过在二值图像中搜索面积较大的黑色像素区域来确定标识投影区域；
步骤(5)：在标识投影区域上提取曲率变化较大的点，从而精确定义连通域的形状；
步骤(6)：在图像系统中将连通域的形状与三维模型对应起来，得出匹配结果，根据匹配结果得出标识物的正确三维模型。
进一步的，步骤(1)中所述的获取真实场景信息和相机位置信息的方式是通过采用摄像装置及光敏器件接收具有几何分布的光源和图像，然后通过计算获得信息。
进一步的，步骤(2)中所述计算虚拟物体坐标到相机视平面的仿射变换的方式是通过空间点的三维坐标位置选择真实场景中的虚拟物体。
进一步的，步骤(3)中二值化分割方式是采用直方图阈值分割法。
进一步的，步骤(4)中所述的连通域分析包括以下步骤：
步骤(4.1)：从整个二值图像中搜索黑色像素，搜索从图像的左上角开始，以行序为准依次进行；
步骤(4.2)：对于一个检测到的黑色像素，将其标志位设置为已扫描，并构建以该像素为中心的大小为3*3的搜索临域；
步骤(4.3)：以递归的方式在上一步中构建的搜索临域内查找黑色像素，同时根据查找结果重新构建搜索临域；
步骤(4.4)：重复递归过程直到无法获取新的黑色像素为止，并将这些位置相邻的黑色像素纳入同一个连通域；
步骤(4.5)：继续检查下一个未扫描像素，查找更多的连通区域。
进一步的，步骤(5)中所述的提取曲率变化较大的点为每一个连通域上四个曲率变化较大的角点。
借由上述方案，本发明至少具有以下优点：该增强现实视场空间和虚拟三维目标动态配准方法能够保证正确的配准关系，提高配准精度，提高用户感官上的真实性。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例：一种增强现实视场空间和虚拟三维目标动态配准方法，包括以下步骤：
步骤(1)：获取真实场景信息和相机位置信息；
步骤(2)：通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过光学透视头盔显示器显示，得到增强现实系统图像；
步骤(3)：对光学透视头盔显示器显示的图像进行二值化分割，根据分割后图像的灰度特性判断增强现实系统图像中哪些部分属于环境背景，哪些部分属于标志物；
步骤(4)：对二值图像做连通域分析，通过在二值图像中搜索面积较大的黑色像素区域来确定标识投影区域；
步骤(5)：在标识投影区域上提取曲率变化较大的点，从而精确定义连通域的形状；
步骤(6)：在图像系统中将连通域的形状与三维模型对应起来，得出匹配结果，根据匹配结果得出标识物的正确三维模型。
步骤(1)中所述的获取真实场景信息和相机位置信息的方式是通过采用摄像装置及光敏器件接收具有几何分布的光源和图像，然后通过计算获得信息。
步骤(2)中所述计算虚拟物体坐标到相机视平面的仿射变换的方式是通过空间点的三维坐标位置选择真实场景中的虚拟物体。
步骤(3)中二值化分割方式是采用直方图阈值分割法。
步骤(4)中所述的连通域分析包括以下步骤：
步骤(4.1)：从整个二值图像中搜索黑色像素，搜索从图像的左上角开始，以行序为准依次进行；
步骤(4.2)：对于一个检测到的黑色像素，将其标志位设置为已扫描，并构建以该像素为中心的大小为3*3的搜索临域；
步骤(4.3)：以递归的方式在上一步中构建的搜索临域内查找黑色像素，同时根据查找结果重新构建搜索临域；
步骤(4.4)：重复递归过程直到无法获取新的黑色像素为止，并将这些位置相邻的黑色像素纳入同一个连通域；
步骤(4.5)：继续检查下一个未扫描像素，查找更多的连通区域。
步骤(5)中所述的提取曲率变化较大的点为每一个连通域上四个曲率变化较大的角点。
以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (2)

1.一种增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：包括以下步骤：
步骤(1)：获取真实场景信息和相机位置信息；
步骤(2)：通过图像系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过光学透视头盔显示器显示，得到增强现实系统图像；
步骤(3)：对光学透视头盔显示器显示的图像进行二值化分割，根据分割后图像的灰度特性判断增强现实系统图像中哪些部分属于环境背景，哪些部分属于标志物；
步骤(4)：对二值图像做连通域分析，通过在二值图像中搜索面积较大的黑色像素区域来确定标识投影区域；
步骤(5)：在标识投影区域上提取曲率变化较大的点，从而精确定义连通域的形状；
步骤(6)：在图像系统中将连通域的形状与三维模型对应起来，得出匹配结果，根据匹配结果得出标识物的正确三维模型；
步骤(1)中所述的获取真实场景信息和相机位置信息的方式是通过采用摄像装置及光敏器件接收具有几何分布的光源和图像，然后通过计算获得信息；
步骤(2)中所述计算虚拟物体坐标到相机视平面的仿射变换的方式是通过空间点的三维坐标位置选择真实场景中的虚拟物体；
步骤(3)中二值化分割方式是采用直方图阈值分割法；
步骤(4)中所述的连通域分析包括以下步骤：
步骤(4.1)：从整个二值图像中搜索黑色像素，搜索从图像的左上角开始，以行序为准依次进行；
步骤(4.2)：对于一个检测到的黑色像素，将其标志位设置为已扫描，并构建以该像素为中心的大小为3*3的搜索临域；
步骤(4.3)：以递归的方式在上一步中构建的搜索临域内查找黑色像素，同时根据查找结果重新构建搜索临域；
步骤(4.4)：重复递归过程直到无法获取新的黑色像素为止，并将这些位置相邻的黑色像素纳入同一个连通域；
步骤(4.5)：继续检查下一个未扫描像素，查找更多的连通区域。
2.根据权利要求1所述的增强现实视场空间和虚拟三维目标动态配准方法，其特征在于：步骤(5)中所述的提取曲率变化较大的点为每一个连通域上四个曲率变化较大的角点。
CN201610582291.9A 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法 Active CN106249881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610582291.9A CN106249881B (zh) 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610582291.9A CN106249881B (zh) 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法

Publications (2)

Publication Number Publication Date
CN106249881A CN106249881A (zh) 2016-12-21
CN106249881B true CN106249881B (zh) 2019-03-19

Family

ID=57603611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610582291.9A Active CN106249881B (zh) 2016-07-21 2016-07-21 增强现实视场空间和虚拟三维目标动态配准方法

Country Status (1)

Country Link
CN (1) CN106249881B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017160651A1 (en) * 2016-03-12 2017-09-21 Lang Philipp K Devices and methods for surgery
CN109685905A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的小区规划方法和系统
CN109840934A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 一种工件的三维模型生成方法和系统
CN109840949A (zh) * 2017-11-29 2019-06-04 深圳市掌网科技股份有限公司 基于光学定位的增强现实图像处理方法和装置
CN110097638B (zh) * 2018-01-31 2023-04-28 深圳市掌网科技股份有限公司 基于混合跟踪器的虚拟物绘制方法及装置
CN110120100B (zh) * 2018-02-06 2023-07-14 广东虚拟现实科技有限公司 图像处理方法、装置及识别跟踪系统
CN110120060B (zh) * 2018-02-06 2023-07-14 广东虚拟现实科技有限公司 标记物的识别方法、装置及识别跟踪系统
CN108762501B (zh) * 2018-05-23 2021-02-26 歌尔光学科技有限公司 Ar显示方法、智能终端、ar设备及系统
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109692487A (zh) * 2018-12-06 2019-04-30 安徽教育网络出版有限公司 一种黄梅戏的增强现实的操作方法
CN109658523B (zh) * 2018-12-10 2023-05-09 田海玉 利用ar增强现实应用实现车辆各功能使用说明的方法
CN110769225B (zh) * 2018-12-29 2021-11-09 成都极米科技股份有限公司 基于幕布的投影区域获取方法及投影装置
CN111402424A (zh) * 2019-01-02 2020-07-10 珠海格力电器股份有限公司 芯片结构的增强现实显示方法、装置和可读存储介质
CN111754570A (zh) * 2019-03-26 2020-10-09 广东虚拟现实科技有限公司 标记物及识别标记物的方法
CN110619674B (zh) * 2019-08-15 2020-12-04 重庆特斯联智慧科技股份有限公司 用于事故和警情场景还原的三维增强现实设备及方法
CN116635888A (zh) * 2020-12-10 2023-08-22 西安大医集团股份有限公司 图像分割方法及装置、图像引导系统、放射治疗系统
CN112651943B (zh) * 2020-12-28 2024-09-13 佗道医疗科技有限公司 一种三维影像标记点提取方法
CN113344990B (zh) * 2021-04-27 2022-09-20 成都飞机工业（集团）有限责任公司 孔位表征投影系统及自适应拟合的孔位对齐方法
CN113349928B (zh) * 2021-05-20 2023-01-24 清华大学 用于柔性器械的增强现实手术导航装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN103297681A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105453559B (zh) * 2013-04-16 2017-12-29 点积公司 手持式便携光学扫描器及其使用方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923809A (zh) * 2010-02-12 2010-12-22 黄振强 交互式增强现实点播机
CN103297681A (zh) * 2012-03-02 2013-09-11 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN104102678A (zh) * 2013-04-15 2014-10-15 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置

Also Published As

Publication number Publication date
CN106249881A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
CN106249881B (zh) 增强现实视场空间和虚拟三维目标动态配准方法
CN102612704B (zh) 用于提供针对图像的至少一个特征的描述符的方法和用于匹配特征的方法
JP6011102B2 (ja) 物体姿勢推定方法
Uchiyama et al. Random dot markers
US7965904B2 (en) Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program
US7515756B2 (en) Region segmentation and characterization systems and methods for augmented reality
US7565004B2 (en) Fiducial designs and pose estimation for augmented reality
CN108717709B (zh) 图像处理系统及图像处理方法
Kumar Mishra et al. A review of optical imagery and airborne lidar data registration methods
Urban et al. Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN103839277A (zh) 一种户外大范围自然场景的移动增强现实注册方法
CN110189347B (zh) 一种测量物体体积的方法及终端
WO2017163384A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
CN107240117A (zh) 视频中运动目标的跟踪方法和装置
CN115830135A (zh) 一种图像处理方法、装置及电子设备
CN117911668A (zh) 药品信息识别方法及装置
CN113012298B (zh) 一种基于区域检测的弯曲mark三维注册增强现实方法
CN117253022A (zh) 一种对象识别方法、装置及查验设备
CN105184736B (zh) 一种窄重叠双视场高光谱成像仪的图像配准的方法
CN110070490A (zh) 图像拼接方法和装置
Karagiannis et al. Automated photogrammetric image matching with SIFT algorithm and Delaunay triangulation
CN113112546B (zh) 基于三x组合标记的空间目标检测识别与位姿跟踪方法
CN110674817B (zh) 一种基于双目摄像头的车牌防伪的方法及装置
Zhang et al. Application of improved Harris algorithm in sub-pixel feature point extraction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Dynamic registration method of augmented reality field of view space and virtual 3D target

Effective date of registration: 20211124

Granted publication date: 20190319

Pledgee: Shandong Dream Vision Intelligent Technology Co.,Ltd.

Pledgor: JIANGSU AUGUST INFORMATION TECHNOLOGY Inc.

Registration number: Y2021980013202