CN111273763A - 增强现实的实现方法及用于实现增强现实的计算机系统 - Google Patents

增强现实的实现方法及用于实现增强现实的计算机系统 Download PDF

Info

Publication number
CN111273763A
CN111273763A CN201910858909.3A CN201910858909A CN111273763A CN 111273763 A CN111273763 A CN 111273763A CN 201910858909 A CN201910858909 A CN 201910858909A CN 111273763 A CN111273763 A CN 111273763A
Authority
CN
China
Prior art keywords
dimensional
augmented reality
data
generating
dimensional coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910858909.3A
Other languages
English (en)
Inventor
赵根植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Expand Knowledge Cos
Original Assignee
Expand Knowledge Cos
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Expand Knowledge Cos filed Critical Expand Knowledge Cos
Publication of CN111273763A publication Critical patent/CN111273763A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/55—Detecting local intrusion or implementing counter-measures
    • G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2252—Location of the holobject
    • G03H2001/2255—Holobject out of Fourier or hologram planes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Algebra (AREA)
  • Virology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种增强现实的实现方法及用于实现增强现实的计算机系统。通过设置于智能眼镜中的增强现实实现系统来执行的增强现实的实现方法包括：通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；在上述二维图像数据中生成二维坐标数据的步骤；基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。

Description

增强现实的实现方法及用于实现增强现实的计算机系统
技术领域
本发明涉及实现三维增强现实的技术。
背景技术
最近，随着信息通信技术持续发展，在实际现实的对象上实时显示虚拟现实的数据的增强现实(Augmented Reality)技术。
作为基于增强现实的相关技术的一例，在韩国公开专利公报第10-2011-0004974号(公开日：2011年1月17日)中揭示了利用增强现实的基于位置的服务提供方法及系统、服务器及便携式终端。
通常，用于增强现实的识别及跟踪技术分为利用图像传感器(摄像头)的二维(2D)识别技术和利用空间传感器的三维(3D)识别技术。
利用图像传感器的技术虽为非常普通的技术，但是在确定增强现实对象的位置的步骤中只使用二维坐标(x，y)。
但是，在最近使用的智能眼镜(smart glass)等的全息装置中，为了给用户带来投入感，具有空间坐标显示功能，因此不适用于使用二维坐标系的二维识别技术。
并且，在现有的工业现场中收集并利用的数据均以二维为基础，所以不可能直接用于全息装置。还存在用于收集并构建用于全息装置的三维数据的费用远大于生成二维数据的费用的问题。
即，由于以三维数据为基础的识别所具有的问题，至今，几乎不存在将全息装置成功应用到工业现场的实例。但是，随着技术的发展，工业现场对增强现实的需求也在增长，通过采用增强现实来降低费用的效果也达到了不可忽视的水平。
发明内容
本发明的目的在于，提供可在使用三维坐标的增强现实中通过二维图像识别空间来预测增强现实对象的三维坐标的方法及系统。
本发明提供一种增强现实的实现方法，通过设置于智能眼镜中的增强现实实现系统来执行的增强现实的实现方法包括：通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；在上述二维图像数据中生成二维坐标数据的步骤；基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。
根据一实施方式，在生成上述二维坐标数据的步骤中，可利用二维图像全息矩阵预测算法来生成上述二维坐标数据。
根据再一实施方式，生成上述三维坐标的步骤可包括：在上述智能眼镜中计算与上述真实世界物体的角度和距离信息相对应的投影矩阵的步骤；以上述二维摄像头的空间坐标来对上述二维坐标数据进行正规化的步骤；在经正规化的上述空间坐标中生成与上述智能眼镜的视线呈直角的虚拟平面的步骤；利用上述投影矩阵来生成上述虚拟平面上的三维坐标点的步骤；以及利用上述三维坐标点来确定将要显示上述增强现实对象的三维空间坐标的步骤。
根据另一实施方式，上述虚拟平面作为用于以从二维到三维的方式进行逆投影的虚拟平面，通过上述投影矩阵和经正规化的上述空间坐标来确定相应平面的几何位置。
根据还有一实施方式，确定上述三维空间坐标的步骤可包括：生成用于连接上述智能眼镜的位置坐标与上述三维坐标点的虚拟直线的步骤；延长上述直线来检测与在二维深度值数据中预测的环境信息的三维模型相交叉的点的步骤；以及将所检测出的上述点确定为将要显示上述增强现实对象的三维空间坐标的步骤。
根据又一实施方式，以使得位于上述真实世界物体的上述准确位置上的上述增强现实对象具有与上述真实世界物体基本相同的深度值的方式进行显示。
根据又一实施方式，增强现实的实现方法包括在上述真实世界物体上显示上述增强现实对象的处理步骤。
本发明提供一种计算机系统，作为用于在智能眼镜实现增强现实的计算机系统，包括：存储器，包括计算机可读指令；总线，与上述存储器相连接；以及处理器，与上述总线相连接，用于执行计算机可读指令，上述处理器进行处理的步骤包括：通过上述智能眼镜的二维摄像头收集二维图像数据的步骤；在上述二维图像数据中生成二维坐标数据的步骤；基于上述智能眼镜的位置及旋转数据与二维深度值数据来在上述二维坐标数据中生成三维坐标的步骤；以及通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。
根据本发明的实施例，即使没有所要识别的物体的三维模型数据，也可通过二维图像识别空间中的物体位置来预测增强现实对象的三维坐标，由此，可在无需在工业现场追加使用费用来生成三维数据的情况下，利用现有的二维数据来实现准确度高的基于三维坐标系的增强现实环境。
附图说明
图1为用于说明本发明一实施例的增强现实实现系统的内部结构以及用于实现增强现实的处理步骤的框图。
图2为示出本发明一实施例的二维图像数据的例示图。
图3为本发明一实施例的用于说明以特定领域的值对二维图像数据进行正规化的步骤的例示图。
图4为本发明一实施例的用于说明生成虚拟二维平面的步骤的例示图。
图5为本发明一实施例的用于说明在三维空间上寻找用于显示增强现实对象的位置的步骤的例示图。
图6为示出佩戴采用本发明的智能眼镜来维护汽车引擎的状况的图。
具体实施方式
以下，参照附图，详细说明本发明的实施例。
本发明涉及在使用三维坐标的增强现实中通过二维图像识别空间来预测增强现实对象的三维坐标的方法及系统。
在利用智能手机、平板等传统显示器的增强现实软件中，使用基于二维图像识别环境并在显示器的二维坐标区域显示增强现实对象的方式。
但是，在利用2个以上的全息显示器的智能眼镜中，除二维坐标(x，y)之外，还使用表示深度值的z坐标，所以需在三维坐标区域显示增强现实对象。
在本发明中，为了利用二维图像数据来预测三维坐标而使用逆投影。
逆投影为以现有的计算机图形图像(CG)处理方式作为基础的处理方式。在计算机图形图像处理中，利用投影来处理数据，这属于在存在虚拟物体的三维空间中，向从用户视角的特定平面进行映射来生成二维图像的步骤。即，计算机图形图像处理的投影步骤以将三维空间投影到二维平面的方式进行。
本发明按倒序进行计算机图形图像处理中的投影步骤，来在二维图像中求三维空间上的坐标。这种处理方式便相当于逆投影。
图1为用于说明本发明一实施例的增强现实实现系统的内部结构以及用于实现增强现实的处理步骤的框图。
本发明一实施例的增强现实实现系统以能够在按全息图显示增强现实对象的智能眼镜上工作作为目标。并且，本发明的目的在于，不使用所要识别的目标物体的三维建模数据，而是采用传统二维图像识别技术来以相对较少的费用识别三维物体并指定增强现实对象的位置。
本发明一实施例的增强现实实现系统可通过计算机系统实现，虽然无需明确图示大部分的现有技术性结构要素，但是作为基本结构要素可包括处理器、存储器、永久存储装置、总线、输入输出接口及网络接口。
处理器作为用于实现增强现实的结构要素，可以是能够处理指令序列的任一装置或装置的一部分。例如，处理器可包括计算机处理器、移动装置或其他电子装置内的处理器和/或数字处理器。根据需要或在适当情况下，增强现实实现系统可包括一个以上的处理器。
存储器可包括挥发性存储器、永久存储器、虚拟存储器或其他存储器，上述存储器用于存储通过增强现实实现系统使用或者通过上述增强现实实现系统输出的信息。例如，存储器可包括随机存取存储器(RAM：random access memory)和/或动态随机存取存储器(DRAM：dynamic RAM)。存储器可用于存储增强现实实现系统的状态信息等的任一信息。例如，存储器还可用于存储包含实现增强现实用指令的增强现实实现系统的指令。
总线可包括通信基础结构，上述通信基础结构能够实现增强现实实现系统的多种组件之间的相互作用。例如，总线可在增强现实实现系统的组件之间或在处理器与存储器之间传递数据。总线可包括增强现实实现系统的组件之间的无线和/或有线通信介质，可包括并联、串联或其他拓扑排列等方式。
为了在规定的延长期间内存储数据，永久存储装置(例如，相对于存储器)可包括用于增强现实实现系统的存储器或其他永久存储装置等的组件。永久存储装置可包括增强现实实现系统内的处理器所使用的非挥发性主存储器。例如，永久存储装置可包括快闪存储器、硬盘、光盘或其他计算机可读介质等。
输入输出接口可包括显示器、键盘、鼠标、语音指令输入装置或其他输入或输出装置相关的接口。结构指令和/或用于实现增强现实的输入可通过输入输出接口接收。
网络接口可包括与近距离网络或互联网等网络相关的一个以上的接口。网络接口可包括与有线连接或无线连接相关的接口。结构指令和/或用于实现增强现实的输入可通过输入输出接口接收。
如图1所示，本发明一实施例的增强现实实现系统所包括的用于实现增强现实的主要结构要素可包括二维摄像头1、传感部2、数据存储部3、二维识别部4、三维生成部5及增强现实显示部6。
二维摄像头1为用于拍摄二维图像的摄像头。换句话讲，利用二维摄像头1收集真实世界物体的二维图像数据。
传感部2可包括用于测定智能眼镜用户的位置和视线方向的陀螺仪传感器和加速度传感器。
数据存储部3为数据的存储场所，用于存储及维持作为三维环境信息的制作成三维模型的周边环境数据。数据存储部3可包括所要识别的物体的二维原版图像及周边空间的三维环境信息等。
换句话讲，在传感部2(陀螺仪传感器和加速度传感器)收集摄像头的位置及角度，在数据存储部3收集周边环境的三维数据。
二维识别部4作为基于二维图像识别算法的模块，可通过对所要识别的目标物体的原版图像和当前摄像头图像进行比较来计算目标物体位于当前摄像头图像中的哪个位置。二维识别部4可在通过二维摄像头1收集的二维数据中制作二维坐标。
三维生成部5可通过综合二维坐标、智能眼镜的位置及旋转数据、智能眼镜的视野角内的二维深度值信息及三维周边环境数据，来计算将要显示增强现实对象的三维坐标。
三维生成部5可通过综合由传感部2收集的摄像头的位置和旋转角度、由数据存储部3收集的周边环境三维数据，来将通过二维识别部4转换的二维坐标制作成三维坐标。
增强现实显示部6为全息显示器(holographic display)，是用于向用户展现增强现实全息对象的显示装置。增强现实显示部6可利用通过三维生成部5制作的三维坐标来以全息图方式输出位于真实世界物体的准确位置上的增强现实对象。
在本发明一实施例的增强现实实现系统中，用于实现增强现实的输入可包括：预先存储在数据存储部3的识别目标物体的二维原版图像和周边空间的三维环境信息；利用二维摄像头1拍摄的当前场面的二维图像；以及用户佩戴的智能眼镜的位置数据和旋转(视线方向)数据等，基于上述信息的输出可成为显示在智能眼镜的全息显示器上的具有三维坐标的全息增强对象。上述输入数据依次经过二维识别部4、三维生成部5及增强现实显示部6来转换为全息图形态的增强现实对象。
可通过图1了解用于实现增强现实的输入输出和具体的处理步骤。
从图1中的左侧部分所示的物体接收的光学数据(optical data)可成为增强现实实现系统的输入，这是设置有增强现实实现系统的智能眼镜所收集的摄像头数据。
步骤1：在增强现实实现系统中，智能眼镜的二维摄像头1收集二维图像。如图2所示，通过二维摄像头1收集三维空间中的物体的数据，来制作真实世界物体的二维图像数据。
步骤2：在增强现实实现系统中，对于在步骤1中收集的二维图像，可通过二维识别部4生成二维坐标数据(x，y)。例如，二维识别部4可利用二维图像全息矩阵预测算法来生成二维坐标数据(x，y)。
步骤3：在增强现实实现系统中，在与步骤1相同的时间点，从传感部2获取并存储智能眼镜(以下称为摄像头)的角度和距离信息，即，从陀螺仪传感器和加速度传感器获取并存储。
步骤4：在增强现实实现系统中，以用于投影转换的形式转换在步骤3中存储的摄像头的角度和距离信息。在此情况下，转换后的最终产物为4行4列矩阵形式的投影矩阵。可计算与摄像头到真实世界物体的角度和距离信息相对应的投影矩阵。投影矩阵用于将坐标系从环境(world)基准转换为摄像头(智能眼镜)空间基准。
步骤5：在增强现实实现系统中，通过对在步骤2中生成的二维坐标数据(x，y)进行正规化，来形成二维摄像头的空间坐标((－1，－1)至(1，1))。如图3所示，为了方便处理，基于由数据存储部3提供的三维空间数据，通过对二维坐标数据进行正规化，来形成特定区域的值。若经过步骤5，则输入图像的尺寸内的x，y坐标变成－1与1之间的实数。
步骤6：在步骤5中正规化的坐标只具有与x，y坐标相对应的2个坐标，所以对于z坐标设定任意值(例如，1)
步骤7：在增强现实实现系统中，在步骤6中设定的坐标点生成与用户的视线呈直角的虚拟平面。在此情况下，所生成的平面为用于以从二维到三维的方式进行逆投影的虚拟平面。如图4所示，可为了逆投影而在摄像头的前方生成虚拟的二维平面。上述平面的几何学位置可通过在步骤4中转换的投影矩阵和在步骤6中设定的三维坐标来确定。
通过步骤7生成位于虚拟平面上的三维坐标点。即，增强现实实现系统可利用投影矩阵来以从摄像头基准转换到环境基准的方式转换坐标系。其中，所计算的空间坐标是z坐标为1的平面内正规化的坐标。
步骤8：在增强现实实现系统中，生成用于连接在步骤3中存储的摄像头的位置坐标(摄像头的角度与距离信息)和在步骤7中生成的虚拟的三维坐标点的直线。增强现实实现系统通过扩张上述直线来检测与在二维深度值数据中构建的环境信息(spatialinformation)的三维模型第一次碰撞(交叉)的位置。在此情况下，所检测的位置将成为显示增强现实对象的三维空间坐标。如图5所示，通过朝向虚拟的二维平面画延长线来找出在实际三维空间上所要画的增强现实对象的位置。
步骤9：在增强现实实现系统中，在通过步骤8找到的位置上，以全息图显示增强现实对象。增强现实实现系统可通过处理来使增强现实对象显示在真实世界物体上。在此情况下，增强现实实现系统以使得位于真实世界物体的准确位置上的增强现实对象具有与真实世界物体基本相同的深度值的方式进行显示。
图6为示出佩戴采用本发明的增强现实实现系统的智能眼镜来注视物体(汽车引擎)的状况的图。
如图6所示，为了收集摄像头数据，作业人员以佩戴智能眼镜的状态注视着物体。
示出利用智能眼镜的全息显示器来引导汽车引擎的维护的例，基于通过智能眼镜收集的数据，在实际物体(汽车引擎)上实现全息增强对象。<按以下顺序安装凸轮轴轴承盖→安装机油控制阀(OCV)适配器→安装气缸顶部盖罩和垫片→根据以下组装顺序紧固气缸顶部盖罩螺栓>。可在实际物体上显示以圆形、四边形、文本等多种虚拟全息增强现实对象来引导维护步骤。
根据如上所述的本发明的实施例，即使没有所要识别的物体的三维模型数据，也可基于二维图像来识别空间中的物体位置，并预测增强对象的三维坐标，由此，即使在工业现场不花费追加费用来生成三维数据，也可利用现有的二维数据来实现准确度高的基于三维坐标系的增强现实环境。
以上说明的装置可由硬件结构要素、软件结构要素和/或硬件结构要素及软件结构要素的组合来实现。例如，如同处理器、控制器、算术逻辑单元(ALU，arithmetic logicunit)、数字信号处理器(digital signal processor)、微计算机、现场可编程门阵列(FPGA，field programmable gate array)、可编程逻辑单元(PLU，programmable logicunit)、微处理器或可执行并响应指令的其他装置等，在实施例中说明的装置及结构要素可利用一个以上的通用计算机或专用计算机来实现。处理装置可执行操作系统(OS)及在上述操作系统上执行的一个以上的软件应用程序。并且，处理装置可响应软件的运行来访问、存储、操作、处理及生成数据。为了方便理解，存在使用一个处理装置的情况，但是只要是本发明所属技术领域的普通技术人员，就可以理解处理装置可包括多个处理要素(processingelement)和/或多种类型的处理要素。例如，处理装置可包括多个处理器或一个处理器及一个控制器。并且，也可以是其他处理结构(processing configuration)，例如并联处理器(parallel processor)。
软件可包括计算机程序(computer program)、代码(code)、指令(instruction)或它们中一个以上的组合，能够以按需求进行工作的方式形成处理装置或者可独立地或结合(collectively)性地对处理装置下指令。为了通过处理装置解析或向处理装置提供指令或数据，软件和/或数据可在某种类型的机器、结构要素(component)、物理装置、计算机存储介质或装置上实现具体化(embody)。软件分散在由网络连接的计算机系统上，还能够以分散的方法存储或运行。软件及数据可存储于一个以上的计算机可读记录介质。
实施例中的方法以可通过多种计算机单元执行的程序指令形态实现并记录在计算机可读介质。在此情况下，介质可以是持续存储可通过计算机执行的程序的介质，还可以是为了执行或下载程序而临时存储的介质。并且，介质可以是形态上使单个或多个硬件相结合的多种记录单元或存储单元，并不限定于某种直接连接到计算机系统的介质，还可以是分散存在于网络上的介质。例如，介质可包括：硬盘、软盘及磁带等的磁性介质；光盘(CD-ROM)及高密度数字视频光盘(DVD)等的光学记录介质；光磁软盘(floptical disk)等的磁光碟介质(magneto-optical medium)；以及只读存储器(ROM)、随机存取存储器(RAM)及快闪存储器等，用于存储程序指令。并且，作为介质的其他例，还有使应用程序流通的应用商店或对其他多种软件进行供给及流通的网站、在服务器等进行管理的记录介质以及存储介质。
虽然通过限定性的实施例和附图来对如上所述的实施例进行了说明，但是本发明所属技术领域的普通技术人员可根据上述记载来对本发明进行多种修改及变形。例如，按照与所说明的方法不同的顺序执行以上所说明的技术和/或使得所说明的系统、结构、装置、电路等结构要素按照与所说明的方法不同的形态相结合或相组合，再或者通过其他结构要素或等同技术方案进行代替或替换，即便如此，也可实现适当的结果。
因此，其他实现例、其他实施例及与本发明要求保护范围等同的实施方式也属于本发明的发明要求保护范围。

Claims (10)

1.一种增强现实的实现方法，通过设置于智能眼镜中的增强现实实现系统来执行，其特征在于，包括：
通过上述智能眼镜的二维摄像头来收集真实世界物体的二维图像数据的步骤；
在上述二维图像数据中生成二维坐标数据的步骤；
基于上述智能眼镜的位置及旋转数据与上述智能眼镜的视野角内的二维深度值信息来在上述二维坐标数据中生成三维坐标的步骤；以及
通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于上述真实世界物体的准确位置上的增强现实对象的步骤。
2.根据权利要求1所述的增强现实的实现方法，其特征在于，在生成上述二维坐标数据的步骤中，利用二维图像全息矩阵预测算法来生成上述二维坐标数据。
3.根据权利要求1所述的增强现实的实现方法，其特征在于，生成上述三维坐标的步骤包括：
在上述智能眼镜中计算与上述真实世界物体的角度和距离信息相对应的投影矩阵的步骤；
以上述二维摄像头的空间坐标来对上述二维坐标数据进行正规化的步骤；
在经正规化的上述空间坐标中生成与上述智能眼镜的视线呈直角的虚拟平面的步骤；
利用上述投影矩阵来生成上述虚拟平面上的三维坐标点的步骤；以及
利用上述三维坐标点来确定将要显示上述增强现实对象的三维空间坐标的步骤。
4.根据权利要求3所述的增强现实的实现方法，其特征在于，上述虚拟平面作为用于以从二维到三维的方式进行逆投影的虚拟平面，通过上述投影矩阵和经正规化的上述空间坐标来确定相应平面的几何位置。
5.根据权利要求3所述的增强现实的实现方法，其特征在于，确定上述三维空间坐标的步骤包括：
生成用于连接上述智能眼镜的位置坐标与上述三维坐标点的虚拟直线的步骤；
延长上述直线来检测与在二维深度值数据中预测的环境信息的三维模型相交叉的点的步骤；以及
将所检测出的上述点确定为将要显示上述增强现实对象的三维空间坐标的步骤。
6.根据权利要求1所述的增强现实的实现方法，其特征在于，以使得位于上述真实世界物体的上述准确位置上的上述增强现实对象具有与上述真实世界物体基本相同的深度值的方式进行显示。
7.根据权利要求1所述的增强现实的实现方法，其特征在于，包括在上述真实世界物体上显示上述增强现实对象的处理步骤。
8.一种计算机系统，用于在智能眼镜实现增强现实，其特征在于，
包括：
存储器，包括计算机可读指令；
总线，与上述存储器相连接；以及
处理器，与上述总线相连接，用于执行计算机可读指令，
上述处理器进行处理的步骤包括：
通过上述智能眼镜的二维摄像头收集二维图像数据的步骤；
在上述二维图像数据中生成二维坐标数据的步骤；
基于上述智能眼镜的位置及旋转数据与二维深度值数据来在上述二维坐标数据中生成三维坐标的步骤；以及
通过上述智能眼镜的全息显示器并利用上述三维坐标来显示位于真实世界物体的准确位置上的增强现实对象的步骤。
9.根据权利要求8所述的计算机系统，其特征在于，生成上述二维坐标数据的步骤包括使用用于生成上述二维坐标数据的二维图像全息预测算法的步骤。
10.根据权利要求8所述的计算机系统，其特征在于，生成上述三维坐标的步骤包括：
在上述智能眼镜中计算与上述真实世界物体的角度和距离信息相对应的投影矩阵的步骤；
以上述二维摄像头的空间坐标来对上述二维坐标数据进行正规化的步骤；
在经正规化的上述空间坐标中生成与上述智能眼镜的视线呈直角的虚拟平面的步骤；
利用上述投影矩阵来生成上述虚拟平面上的三维坐标点的步骤；以及
利用上述三维坐标点来确定将要显示上述增强现实对象的三维空间坐标的步骤。
CN201910858909.3A 2018-12-05 2019-09-11 增强现实的实现方法及用于实现增强现实的计算机系统 Pending CN111273763A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180155120A KR102051889B1 (ko) 2018-12-05 2018-12-05 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
KR10-2018-0155120 2018-12-05

Publications (1)

Publication Number Publication Date
CN111273763A true CN111273763A (zh) 2020-06-12

Family

ID=68837085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910858909.3A Pending CN111273763A (zh) 2018-12-05 2019-09-11 增强现实的实现方法及用于实现增强现实的计算机系统

Country Status (3)

Country Link
US (1) US11222471B2 (zh)
KR (1) KR102051889B1 (zh)
CN (1) CN111273763A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708366A (zh) * 2020-06-29 2020-09-25 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN111840996A (zh) * 2020-06-30 2020-10-30 青岛海尔科技有限公司 用于提示牌类游戏规则的方法、装置、系统和ar眼镜
CN112033284A (zh) * 2020-08-28 2020-12-04 北京睿呈时代信息科技有限公司 存储器、基于监控视频的交互测量方法、系统和设备
CN112804499A (zh) * 2021-02-05 2021-05-14 广东南方电信规划咨询设计院有限公司 一种全息施工安全监控系统
CN114356089A (zh) * 2021-12-30 2022-04-15 Oppo广东移动通信有限公司 增强现实眼镜控制方法及装置、存储介质和电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020195021A1 (ja) * 2019-03-28 2020-10-01 日本電気株式会社 情報処理装置、表示システム、表示方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
US11195323B2 (en) * 2019-09-03 2021-12-07 Apple Inc. Managing multi-modal rendering of application content
KR20220077725A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 홀로그래픽 렌즈 및 이를 포함하는 장치
KR102294397B1 (ko) * 2020-12-03 2021-08-26 주식회사 엔씨월드 증강현실을 이용한 스마트 웨어러블 시스템
CN112631431B (zh) * 2021-01-04 2023-06-16 杭州光粒科技有限公司 Ar眼镜的位姿确定方法、装置及设备、存储介质
KR102527918B1 (ko) 2021-02-23 2023-04-28 한남대학교 산학협력단 Ar 스마트 글래스 시스템
CN115248501B (zh) * 2021-04-27 2023-11-21 广州视享科技有限公司 增强现实设备的显示方法、装置和增强现实设备
WO2023136366A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 증강현실 서비스를 제공하는 장치 및 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299741A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Distinguishing Live Faces from Flat Surfaces
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
CN104637080A (zh) * 2013-11-07 2015-05-20 深圳先进技术研究院 一种基于人机交互的三维绘图系统及方法
CN104808795A (zh) * 2015-04-29 2015-07-29 王子川 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
US20170256097A1 (en) * 2016-03-07 2017-09-07 F3 & Associates Local positioning system for augmented reality applications
CN107884767A (zh) * 2017-10-31 2018-04-06 暨南大学 一种双目视觉系统测量船舶距离与高度的方法
CN108062788A (zh) * 2017-12-18 2018-05-22 北京锐安科技有限公司 一种三维重建方法、装置、设备和介质
US20180203112A1 (en) * 2017-01-17 2018-07-19 Seiko Epson Corporation Sound Source Association
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9412201B2 (en) * 2013-01-22 2016-08-09 Microsoft Technology Licensing, Llc Mixed reality filtering

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110299741A1 (en) * 2010-06-08 2011-12-08 Microsoft Corporation Distinguishing Live Faces from Flat Surfaces
US20140184496A1 (en) * 2013-01-03 2014-07-03 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
CN104637080A (zh) * 2013-11-07 2015-05-20 深圳先进技术研究院 一种基于人机交互的三维绘图系统及方法
CN104808795A (zh) * 2015-04-29 2015-07-29 王子川 一种增强现实眼镜的手势识别方法及增强现实眼镜系统
US20170256097A1 (en) * 2016-03-07 2017-09-07 F3 & Associates Local positioning system for augmented reality applications
CN106204656A (zh) * 2016-07-21 2016-12-07 中国科学院遥感与数字地球研究所 基于视频和三维空间信息的目标定位和跟踪系统及方法
US20180203112A1 (en) * 2017-01-17 2018-07-19 Seiko Epson Corporation Sound Source Association
CN107884767A (zh) * 2017-10-31 2018-04-06 暨南大学 一种双目视觉系统测量船舶距离与高度的方法
CN108062788A (zh) * 2017-12-18 2018-05-22 北京锐安科技有限公司 一种三维重建方法、装置、设备和介质
CN108335365A (zh) * 2018-02-01 2018-07-27 张涛 一种影像引导的虚实融合处理方法及装置
CN108830894A (zh) * 2018-06-19 2018-11-16 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111708366A (zh) * 2020-06-29 2020-09-25 济南浪潮高新科技投资发展有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN111840996A (zh) * 2020-06-30 2020-10-30 青岛海尔科技有限公司 用于提示牌类游戏规则的方法、装置、系统和ar眼镜
CN111840996B (zh) * 2020-06-30 2022-10-28 青岛海尔科技有限公司 用于提示牌类游戏规则的方法、装置、系统和ar眼镜
CN112033284A (zh) * 2020-08-28 2020-12-04 北京睿呈时代信息科技有限公司 存储器、基于监控视频的交互测量方法、系统和设备
CN112804499A (zh) * 2021-02-05 2021-05-14 广东南方电信规划咨询设计院有限公司 一种全息施工安全监控系统
CN114356089A (zh) * 2021-12-30 2022-04-15 Oppo广东移动通信有限公司 增强现实眼镜控制方法及装置、存储介质和电子设备

Also Published As

Publication number Publication date
US11222471B2 (en) 2022-01-11
US20200184726A1 (en) 2020-06-11
KR102051889B1 (ko) 2019-12-06

Similar Documents

Publication Publication Date Title
CN111273763A (zh) 增强现实的实现方法及用于实现增强现实的计算机系统
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US10580148B2 (en) Graphical coordinate system transform for video frames
JP6105092B2 (ja) 光学式文字認識を用いて拡張現実を提供する方法と装置
EP3039655B1 (en) System and method for determining the extent of a plane in an augmented reality environment
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
Kwon et al. A geometric particle filter for template-based visual tracking
US11436755B2 (en) Real-time pose estimation for unseen objects
KR20190060679A (ko) 이동 객체의 자세 학습 방법 및 장치
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
CN116067367A (zh) 加速同时定位与地图构建的装置和包括该装置的电子设备
Yang et al. Research on Tracking and Registration Algorithm Based on Natural Feature Point.
US20190371058A1 (en) Image Processing Apparatus, Image Processing Method, And Image Processing Program
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
Park et al. A vision processor with a unified interest-point detection and matching hardware for accelerating a stereo-matching algorithm
Amundarain et al. Virtual reality for aircraft engines maintainability
Cho et al. Real-time 3D reconstruction method using massive multi-sensor data analysis and fusion
EP4120200A1 (en) Method and apparatus for light estimation
Leitner et al. The need for dynamic and active datasets
Gui et al. An Efficient Dense Depth Map Estimation Algorithm Using Direct Stereo Matching for Ultra-Wide-Angle Images
EP4181065A2 (en) Method and device with sensing data processing
Shuvalova et al. Interactive markerless augmented reality system based on visual SLAM algorithm
Tan et al. Improved shape-from-template method with perspective space constraints for disappearing features
JP2004094750A (ja) ３次元形状処理装置、干渉モデル検出方法、プログラム、及び記憶媒体
Ahmad et al. Review of Model-Based Techniques in Augmented Reality Occlusion Handling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612

WD01 Invention patent application deemed withdrawn after publication