CN108153502A - 基于透明屏幕的手持式增强现实显示方法及装置 - Google Patents

基于透明屏幕的手持式增强现实显示方法及装置 Download PDF

Info

Publication number
CN108153502A
CN108153502A CN201711405244.8A CN201711405244A CN108153502A CN 108153502 A CN108153502 A CN 108153502A CN 201711405244 A CN201711405244 A CN 201711405244A CN 108153502 A CN108153502 A CN 108153502A
Authority
CN
China
Prior art keywords
screen
visual sensor
transparent screen
information
preposition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711405244.8A
Other languages
English (en)
Other versions
CN108153502B (zh
Inventor
王宁
陈嵘
高洪远
张勋
李南辉
张乐
黄少华
李小帅
王进丰
黄艳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Institute of Survey Planning Design and Research Co Ltd
Original Assignee
Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Institute of Survey Planning Design and Research Co Ltd filed Critical Changjiang Institute of Survey Planning Design and Research Co Ltd
Priority to CN201711405244.8A priority Critical patent/CN108153502B/zh
Publication of CN108153502A publication Critical patent/CN108153502A/zh
Application granted granted Critical
Publication of CN108153502B publication Critical patent/CN108153502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于透明屏幕的手持式增强现实显示方法及装置，所述方法是通过后置视觉传感器、后置深度传感器实时采集透明屏幕后方的目标物体的图像信息、深度数据和前置视觉传感器、前置深度传感器实时采集透明屏幕前方的用户眼球的图像信息、深度数据，经过计算得到用户眼球与目标物体在透明屏幕上的交点并实时显示的过程，通过实时跟踪用户的眼球位置的方法，通过透明屏幕为同时用户展示真实场景和增强现实画面。所述装置包括信息采集模块、信息处理模块和信息显示模块，具备便于携带、现实场景与虚拟信息同步显示等优点。该装置用途广泛，可用于建筑土建施工、室内装饰展示、设备检修、智能驾驶、地质勘探等领域，具有广泛的市场前景。

Description

基于透明屏幕的手持式增强现实显示方法及装置
技术领域
本发明涉及增强现实显示技术领域，具体地指一种基于透明屏幕的手持式增强现实显示方法及装置。
背景技术
随着电子技术、光学技术、计算机图形技术、模式识别等技术的迅速发展，越来越多新兴技术被应用于手持移动智能装置上，为人们获取信息、进行人机交互提供了更加丰富的手段和方法。作为目前流行的人机交互及信息展示技术，增强现实(AugmentedReality，简称AR)技术逐渐被业界所重视并开始使用。增强现实技术是一种实时地将虚拟信息叠加到现实场景的影像上并一起展示的技术，该技术通过图像图形处理技术，将真实世界信息和虚拟世界信息集中整合起来展示给用户，使得用户在观看实景画面的同时获得额外虚拟信息。
目前具备增强现实功能的装置主要有两种类型：头戴方式和手持方式。头戴方式类型通过头盔或眼镜样式的装置将增强现实影像展示给用户；手持式方式采用带有显示屏幕的手持式智能装置来展示增强现实影像。目前这两种实现方式均有缺陷，头戴式增强现实装置必须戴在用户头上或置于眼前，若用户原本就佩戴眼镜则造成不便，而且局限于现在的电池技术，大容量电池可能对用户增加额外的重量负担，若采用外接电源的方式供电，则过多线缆不便于携带移动；传统的手持式增强现实装置屏幕显示增强现实影像画面和用户眼前的现实场景画面并不完全重叠，这一般是由于视觉传感器镜头畸变、焦距、视角、响应延迟等造成，这会造成用户对屏幕后真实场景的感知产生偏差，在有些场合可能会使得用户造成一些错觉而造成不便。
发明内容
针对现有技术的不足之处，本发明提出了一种基于透明屏幕的增强现实显示方法及装置，将增强现实技术、眼球定位技术和透明屏幕相结合，直观地让用户同时查看到透明屏幕后实际场景影像中的物体和透明屏幕上的对应该物体的虚拟信息画面。当该装置的姿态位置和用户眼球的位置发生改变时，透明屏幕上的虚拟画面会实时自动调整，并跟实际场景相对应。
为实现上述目的，本发明所设计的一种基于透明屏幕的手持式增强现实显示方法，其特殊之处在于，包括如下步骤：
所述方法是通过后置视觉传感器、后置深度传感器实时采集透明屏幕后方的目标物体的图像信息、深度数据，同时通过前置视觉传感器、前置深度传感器实时采集透明屏幕前方的用户眼球的图像信息、深度数据，经过计算得到用户眼球与目标物体在透明屏幕上的交点并实时显示的过程，具体包括如下步骤：
1)分别实时采集目标物体和用户眼球的图像信息、深度信息；
2)分别计算目标物体在后置视觉传感器的摄像机坐标系三维坐标和用户眼球在前置视觉传感器的摄像机坐标系三维坐标；
3)分别计算目标物体三维和用户眼球在屏幕中心的世界坐标系中的三维坐标；
4)计算目标物体与用户眼球连线在屏幕上的交点的三维坐标；
5)计算目标物体与用户眼球连线在屏幕上的交点的屏幕坐标。
优选地，所述步骤1)中采集目标物体的图像信息、深度信息的方法为采集屏幕后方的数字图像和深度信息，利用模式识别算法分割和识别场景内的目标物体，获得目标物体的图像位置数据，得到物体的图像坐标为(mu,mv)，深度数据为md。
优选地，所述步骤1)中采集用户眼球的图像信息、深度信息的方法为采集屏幕前方的数字图像和深度信息，利用眼球定位跟踪算法，获得用户眼球的位置数据，得到眼球的图像坐标为(eu,ev)，深度数据为me
优选地，所述步骤2)中计算目标物体在后置视觉传感器的摄像机坐标系三维坐标(mx,my,mz)的计算公式为：
其中，函数norm()表示向量归一化函数，fx和fy是后置视觉传感器两个方向的焦距,s是后置视觉传感器的倾斜参数，(u0,v0)是后置视觉传感器主点坐标，Kc为后置视觉传感器的内部参数矩阵，通过摄像机标定方法获得。
优选地，所述步骤2)中计算用户眼球在前置视觉传感器的摄像机坐标系三维坐标(ex,ey,ez)的计算公式为：
其中，函数norm()表示向量归一化函数，K′c为前置视觉传感器的内部参数矩阵，f′x和f′y是前置视觉传感器在两个方向的焦距,s′前置视觉传感器的倾斜参数，(u′0,v′0)是前置视觉传感器主点坐标，K′c为前置视觉传感器的内部参数矩阵，通过摄像机标定方法获得。
优选地，所述步骤3)中计算目标物体在以屏幕中心的世界坐标系中的三维坐标(Mx,My,Mz)的计算公式为：
其中，[dx,dy,dz]T为后置视觉传感器的摄像机坐标系原点与屏幕中心的世界坐标系原点的差值。
优选地，所述步骤3)中计算用户眼球在屏幕中心的世界坐标系中的三维坐标(Ex,Ey,Ez)的计算公式为：
其中，[nx,ny,nz]T为前置视觉传感器的摄像机坐标系原点与屏幕中心的世界坐标系原点的差值。
优选地，所述步骤4)中计算目标物体与用户眼球连线在屏幕上的交点的三维坐标(Qx,Qy,Qz)的计算公式为：
Qz＝0
优选地，所述步骤5)中计算目标物体与用户眼球连线在屏幕上的交点的屏幕坐标(Sx,Sy)的计算公式为：
其中，Dx、Dy分别为透明屏幕水平和垂直方向像素数，W、H分别为透明屏幕的宽度和高度。
一种基于上述基于透明屏幕的手持式增强现实显示方法的装置，其特征在于：包括信息采集模块、信息处理模块和信息显示模块；
所述信息采集模块包括设置于透明屏幕的前面板上的前置视觉传感器、前置深度传感器、前置亮度传感器和设置于透明屏幕的后面板上的后置视觉传感器、前置深度传感器、前置亮度传感器，用于采集目标物体和用户眼球的图像信息、深度信息；
所述信息处理模块用于对信息采集模块获取的信息进行处理，计算计算目标物体与用户眼球连线在屏幕上的交点的屏幕坐标；
所述信息显示模块包括透明屏幕，用于显示从信息采集模块和信息处理模块获取的信息。
本发明涉及到了眼球定位与跟踪技术和透明屏幕显示技术：眼球定位与跟踪技术通过图像处理、模式分类、目标跟踪等方法实现，目前眼球定位与跟踪技术已经比较成熟，在很多领域得到使用；透明屏幕显示技术目前在很多技术文献和专利文档中提到，大致可分为OLED(Organic Light-Emitting Diode，有机发光二极管)和LCD(Liquid CrystalDisplay，液晶显示)两类，透明显示技术的文献资料逐年增加也表明该技术的可行性和市场价值。
本发明整合了透明显示、增强现实、眼球定位、计算机图形图像处理等多种技术。该装置改进了现有增强现实装置的不足问题，具备便于携带、现实场景与虚拟信息同步显示等优点。本发明通过实时跟踪用户的眼球位置的方法，通过透明屏幕为同时用户展示真实场景和增强现实画面。该装置用途广泛，可用于建筑土建施工、室内装饰展示、设备检修、广告展示、智能驾驶、地质勘探等领域，具有广泛的市场前景。
附图说明
图1为本发明装置的使用操作示意图。
图2为本发明装置的外观结构示意图，包括正反两面。
图3为本发明装置的功能模块图。
图4为本发明装置的使用流程图。
图5为本发明方法的流程图。
图6a为本发明中目标物体在后置视觉传感器中的摄像机坐标系三维坐标与图像平面二维坐标的关系示意图。
图6b为本发明中用户眼球在前置视觉传感器中的摄像机坐标系三维坐标与图像平面二维坐标的关系示意图。
图6c为本发明中用户眼球和目标物体的三维坐标与装置的透明屏幕显示坐标的关系示意图。
图2、3、6a、6b和6c中：前面板101，前置视觉传感器102、前置深度传感器103、前置亮度传感器104，屏幕正面105，后面板106，后置视觉传感器107，后置深度传感器108，后置亮度传感器109，屏幕反面110，信息采集模块201，信息处理模块202，信息展示模块203，目标物体501，目标物体在图像平面503的位置数据502，后置视觉传感器107的图像平面503，后置视觉传感器107的图像坐标系504，后置视觉传感器107的摄像机坐标系505，屏幕平面506，屏幕图像坐标系507，屏幕中心的世界坐标系508，前置视觉传感器102的摄像机坐标系509，用户眼球510，前置视觉传感器102的图像平面511，用户眼球510在图像平面511的位置数据512，前置视觉传感器102的图像坐标系513，目标物体501和用户眼球510在屏幕平面交点514。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
如图1所示是使用本发明装置的一个实施例的操作示意图。物体和用户的眼睛分别处于装置透明屏幕的两侧，确保两者的连线与透明屏幕平面三维交点在透明屏幕矩形区域内。
如图2所示，本发明基于透明屏幕的手持式增强现实装置的外观示意图，包括：透明显示屏(屏幕正面105，屏幕反面110)，装置配有前面板101和后面板106，前面板上配置有前置视觉传感器102、前置深度传感器103、前置亮度传感器104等组件，后面板上配置有后置视觉传感器107、后置深度传感器108、后置亮度传感器109等组件。该装置内置有无线通信组件、图形图像处理组件、电池组件等。
本发明装置的功能模块如图3所示，整个装置按功能分为三个主要模块：信息采集模块201，信息处理模块202，信息展示模块203。
信息采集模块201通过前置视觉传感器102、前置深度传感器103、前置亮度传感器104、后置视觉传感器107、后置深度传感器108、后置亮度传感器109分别获取目标和用户眼球视频图像与深度图像信息。
信息处理模块202利用本装置内置处理芯片对信息采集模块201获取的信息进行处理，获得目标物体501和用户眼球510空间位置信息，并计算获取目标物体和用户眼球位置连线在屏幕平面506的交点514的三维坐标。
信息显示模块203，根据本装置的信息采集模块201和信息处理模块202获得的数据，在本装置的透明显示屏105上展示。
图4中所示为本装置的运行流程图，分为三个步骤：
步骤S101：将本装置按照图1所示的方式操作。
步骤S102：获取目标物体501与用户眼球510空间位置连线在透明屏幕506上交点514的坐标。
步骤S103：在透明屏幕105上该交点514的坐标位置显示所需展示信息，本装置自动转向步骤S102，若关闭本装置则流程结束。
图5中所示为本装置在T至T+1时段的步骤S102-S103的详细信息处理流程，主要分为目标数据采集处理S2A；用户数据采集处理S2B；屏幕显示处理等三大步骤S2C。其中步骤S2A与步骤S2B同步运行，两个步骤的运行结果同步输入至S2C中，经过步骤S2C处理后获得当前屏幕信息显示图像位置514，流程继续到T+1时刻。
图5中所示为本装置在T至T+1时段具体的数据处理流程，该流程中所涉及到的相关数据和信息定义见图2、6a、6b、6c所示。
步骤S2A1：在T时刻，从本装置的后面板106的后置视觉传感器107实时捕获装置后真实场景的数字图像，同时根据后置深度传感器108实时地获取的空间深度信息，利用模式识别算法分割和识别该场景的物体，并获得目标物体的图像位置数据502，设该物体的图像坐标为(mu,mv)，深度数据为md。
步骤S2A2：通过公式(1)计算得出该目标物体501在后置视觉传感器107的摄像机坐标系505的三维坐标(mx,my,mz)：
在这里，函数norm()表示向量归一化函数，Kc为后置视觉传感器107的内部参数矩阵，可通过摄像机标定方法获得。fx和fy是后置视觉传感器107在两个方向的焦距，s是后置视觉传感器107的倾斜参数，(u0,v0)是后置视觉传感器107主点的图像坐标。
步骤S2A3：利用公式(2)计算目标物体501在屏幕中心的世界坐标系508中的三维坐标(Mx,My,Mz)：
[dx,dy,dz]T为后置视觉传感器107摄像机坐标系505与屏幕中心的世界坐标系508的坐标原点的差值。在本装置运行过程中，设定dx＝0、dz＝0，dy为后置摄像头107中心到透明屏幕506中心的距离。
步骤S2B1：在T时刻，利用该装置的前置视觉传感器102，通过眼球定位跟踪算法实时获取用户的眼球位置。同时根据前置深度传感器103实时地获取的空间深度信息，设左右眼球的图像坐标为(lu,lv)、(ru,rv)，深度数据为ml、mr。为了简化计算，取双眼中间点(eu,ev)代表用户眼睛位置，对应深度数据为me，则：
步骤S2B2：通过公式(3)计算眼球510在前置视觉传感器102的摄像机坐标系509三维坐标(ex,ey,ez)：
在这里，K′c为前置视觉传感器102的内部参数矩阵，f′x和f′y是前置视觉传感器102在两个方向的焦距,s′是前置视觉传感器102的倾斜参数，(u′0,v′0)是前置视觉传感器102主点的图像坐标，K′c为前置视觉传感器102的内部参数矩阵，可通过摄像机标定方法获得。
步骤S2B3：利用公式(4)计算用户眼球510在屏幕中心的世界坐标系508中的三维坐标(Ex,Ey,Ez)：
[nx,ny,nz]T为前置视觉传感器102的摄像机坐标系509原点与屏幕中心的世界坐标系508原点的差值。在本装置运行过程中，设定nx＝0、nz＝0，ny为前置摄像头102中心到透明屏幕506中心的距离。
步骤S2C1：利用公式(5)计算目标物体501与用户眼球510连线在透明屏幕506上的交点514的三维坐标(Qx,Qy,Qz):
Qz＝0 (5)
步骤S2C2：利用公式(6)计算交点514的在透明屏幕506中的图像坐标(Sx,Sy):
公式(6)中Dx、Dy分别为透明屏幕506水平和垂直方向像素数，W、H分别为透明屏幕506的宽度和高度。
完成步骤S2C2并获得交点514的透明屏幕506坐标(Sx,Sy)后，在透明屏幕506该坐标位置显示增强信息，并转到下一时刻T+1。
尽管上面结合附图对本发明的优选实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，并不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可以做出很多形式的具体变换，这些均属于本发明的保护范围内。

Claims (10)

1.一种基于透明屏幕的手持式增强现实显示方法，其特征在于：所述方法是通过后置视觉传感器(107)、后置深度传感器(108)实时采集透明屏幕(506)后方的目标物体(501)的图像信息、深度数据，同时通过前置视觉传感器(102)、前置深度传感器(103)实时采集透明屏幕(506)前方的用户眼球(510)的图像信息、深度数据，经过计算得到用户眼球(510)与目标物体(501)在透明屏幕(506)上的交点并实时显示的过程，具体包括如下步骤：
1)分别实时采集目标物体(501)和用户眼球(510)的图像信息、深度信息；
2)分别计算目标物体(501)在后置视觉传感器(107)的摄像机坐标系(505)三维坐标和用户眼球(510)在前置视觉传感器(102)的摄像机坐标系(509)三维坐标；
3)分别计算目标物体(501)和用户眼球(510)在屏幕中心的世界坐标系(508)中的三维坐标；
4)计算目标物体(501)与用户眼球(510)连线在屏幕(506)上的交点(514)的三维坐标；
5)计算目标物体(501)与用户眼球(510)连线在屏幕上的交点(514)的屏幕坐标。
2.根据权利要求1所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤1)中采集目标物体(501)的图像信息、深度信息的方法为采集屏幕后方的数字图像和深度信息，利用模式识别算法分割和识别场景内的目标物体(501)，获得目标物体(501)的图像位置数据，得到物体的图像坐标为(mu,mv)，深度数据为md。
3.根据权利要求1所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤1)中采集用户眼球(510)的图像信息、深度信息的方法为采集屏幕前方的数字图像和深度信息，利用眼球定位跟踪算法，获得用户眼球(510)的位置数据，得到物体的图像坐标为(eu,ev)，深度数据为me。
4.根据权利要求1所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤2)中计算目标物体(501)在后置视觉传感器(107)的摄像机坐标系(505)三维坐标(mx,my,mz)的计算公式为：
其中，函数norm()表示向量归一化函数，Kc为后置视觉传感器(107)的内部参数矩阵，fx和fy是后置视觉传感器(107)在两个方向的焦距,s是后置视觉传感器(107)的倾斜参数，(u0,v0)是后置视觉传感器(107)主点坐标。
5.根据权利要求4所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤2)中计算用户眼球(510)在前置视觉传感器(102)的摄像机坐标系(509)三维坐标(ex,ey,ez)的计算公式为：
其中，函数norm()表示向量归一化函数，f′x和f′y是前置视觉传感器(102)在两个方向的焦距,s′是前置视觉传感器(102)的倾斜参数，(u′0,v′0)是前置视觉传感器(102)主点坐标，K′c为前置视觉传感器(102)的内部参数矩阵。
6.根据权利要求5所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤3)中计算目标物体(501)在屏幕中心的世界坐标系(508)中的三维坐标(Mx,My,Mz)的计算公式为：
其中，[dx,dy,dz]T为后置视觉传感器(107)的摄像机坐标系(505)原点与屏幕中心的世界坐标系(508)原点的差值。
7.根据权利要求6所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤3)中计算用户眼球(510)在屏幕中心的世界坐标系(508)中的三维坐标(Ex,Ey,Ez)的计算公式为：
其中，[nx,ny,nz]T为前置视觉传感器(102)的摄像机坐标系(509)原点与屏幕中心的世界坐标系(508)原点的差值。
8.根据权利要求7所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤4)中计算目标物体(501)与用户眼球(510)连线在屏幕(506)上的交点(514)的三维坐标(Qx,Qy,Qz)的计算公式为：
。
9.根据权利要求8所述的基于透明屏幕的手持式增强现实显示方法，其特征在于：所述步骤5)中计算目标物体(501)与用户眼球(510)连线在屏幕(506)上的交点(514)的屏幕坐标(Sx,Sy)的计算公式为：
其中，Dx、Dy分别为透明屏幕(506)水平和垂直方向像素数，W、H分别为透明屏幕(506)的宽度和高度。
10.一种基于权利要求1所述的基于透明屏幕的手持式增强现实显示方法的装置，其特征在于：包括信息采集模块(201)、信息处理模块(202)和信息显示模块(203)；
所述信息采集模块(201)包括设置于透明屏幕(506)的前面板(101)上的前置视觉传感器(102)、前置深度传感器(103)、前置亮度传感器(104)和设置于透明屏幕(506)的后面板(106)上的后置视觉传感器(107)、前置深度传感器(108)、前置亮度传感器(109)，用于采集目标物体(501)和用户眼球(510)的图像信息、深度信息；
所述信息处理模块(202)用于对信息采集模块获取的信息进行处理，计算计算目标物体(501)与用户眼球(510)连线在屏幕上的交点(514)的屏幕坐标；
所述信息显示模块(203)包括透明屏幕(506)，用于显示从信息采集模块(201)和信息处理模块(202)获取的信息。
CN201711405244.8A 2017-12-22 2017-12-22 基于透明屏幕的手持式增强现实显示方法及装置 Active CN108153502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711405244.8A CN108153502B (zh) 2017-12-22 2017-12-22 基于透明屏幕的手持式增强现实显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711405244.8A CN108153502B (zh) 2017-12-22 2017-12-22 基于透明屏幕的手持式增强现实显示方法及装置

Publications (2)

Publication Number Publication Date
CN108153502A true CN108153502A (zh) 2018-06-12
CN108153502B CN108153502B (zh) 2021-11-12

Family

ID=62465154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711405244.8A Active CN108153502B (zh) 2017-12-22 2017-12-22 基于透明屏幕的手持式增强现实显示方法及装置

Country Status (1)

Country Link
CN (1) CN108153502B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020063100A1 (zh) * 2018-09-28 2020-04-02 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
CN111311523A (zh) * 2020-03-26 2020-06-19 北京迈格威科技有限公司 图像处理方法、装置、系统和电子设备
CN111541888A (zh) * 2020-05-07 2020-08-14 青岛跃迁科技有限公司 一种基于显示面的ar实现方法
CN112052827A (zh) * 2020-09-21 2020-12-08 陕西科技大学 一种基于人工智能技术的屏幕隐藏方法
CN112631487A (zh) * 2020-12-18 2021-04-09 咪咕文化科技有限公司 图像处理方法、电子设备和可读存储介质
GB2601910A (en) * 2020-12-10 2022-06-15 Bae Systems Plc Augmented reality window

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
CN104272371A (zh) * 2012-04-08 2015-01-07 三星电子株式会社 透明显示设备及其方法
CN105407791A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 经由深度相机的眼睛追踪
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
CN106131541A (zh) * 2016-08-26 2016-11-16 广州巧瞳科技有限公司 基于增强现实的智能显示装置及方法
US20170294046A1 (en) * 2016-04-11 2017-10-12 Fujitsu Ten Limited Augmented reality information displaying device and augmented reality information displaying method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272371A (zh) * 2012-04-08 2015-01-07 三星电子株式会社 透明显示设备及其方法
KR101320683B1 (ko) * 2012-07-26 2013-10-18 한국해양과학기술원 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템
CN105407791A (zh) * 2013-06-25 2016-03-16 微软技术许可有限责任公司 经由深度相机的眼睛追踪
CN105676452A (zh) * 2014-12-08 2016-06-15 现代自动车株式会社 用于车辆的增强现实hud显示方法和装置
US20170294046A1 (en) * 2016-04-11 2017-10-12 Fujitsu Ten Limited Augmented reality information displaying device and augmented reality information displaying method
CN106131541A (zh) * 2016-08-26 2016-11-16 广州巧瞳科技有限公司 基于增强现实的智能显示装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马颂德等: "《计算机视觉：计算理论与基础》", 31 January 1998, 科学出版社 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020063100A1 (zh) * 2018-09-28 2020-04-02 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
CN111311523A (zh) * 2020-03-26 2020-06-19 北京迈格威科技有限公司 图像处理方法、装置、系统和电子设备
CN111311523B (zh) * 2020-03-26 2023-09-05 北京迈格威科技有限公司 图像处理方法、装置、系统和电子设备
CN111541888A (zh) * 2020-05-07 2020-08-14 青岛跃迁科技有限公司 一种基于显示面的ar实现方法
CN112052827A (zh) * 2020-09-21 2020-12-08 陕西科技大学 一种基于人工智能技术的屏幕隐藏方法
CN112052827B (zh) * 2020-09-21 2024-02-27 陕西科技大学 一种基于人工智能技术的屏幕隐藏方法
GB2601910A (en) * 2020-12-10 2022-06-15 Bae Systems Plc Augmented reality window
CN112631487A (zh) * 2020-12-18 2021-04-09 咪咕文化科技有限公司 图像处理方法、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN108153502B (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
CN108153502A (zh) 基于透明屏幕的手持式增强现实显示方法及装置
US11546505B2 (en) Touchless photo capture in response to detected hand gestures
US11277597B1 (en) Marker-based guided AR experience
KR20230164185A (ko) 가상 및 그래픽 요소들을 제어하기 위한 매핑된 손 영역들 사이의 양손 상호 작용들
US9360670B2 (en) Display method and display device for augmented reality
CN107004279A (zh) 自然用户界面相机校准
US20240211057A1 (en) Augmented reality eyewear 3d painting
JPWO2014128749A1 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
JP6250024B2 (ja) キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法
CN102930278A (zh) 一种人眼视线估计方法及其装置
JPWO2014128747A1 (ja) 入出力装置、入出力プログラム、および入出力方法
CN104036270B (zh) 一种即时自动翻译装置及方法
WO2022006116A1 (en) Augmented reality eyewear with speech bubbles and translation
US11589024B2 (en) Multi-dimensional rendering
US20230359038A1 (en) Eyewear having unsynchronized rolling shutter cameras
CN115735150A (zh) 增强现实眼戴器与3d服装
KR20230029923A (ko) 롤링 셔터 카메라들을 사용하는 시각적 관성 추적
US11508130B2 (en) Augmented reality environment enhancement
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
WO2014128750A1 (ja) 入出力装置、入出力プログラム、および入出力方法
WO2022005733A1 (en) Augmented reality eyewear with mood sharing
CN115482359A (zh) 目标的尺寸测量方法、电子设备及其介质
CN110060349A (zh) 一种扩展增强现实头戴式显示设备视场角的方法
US11454816B1 (en) Segmented illumination display
EP4172731A1 (en) Dynamic sensor selection for visual inertial odometry systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant