CN112925413B - 增强现实眼镜及其触控方法 - Google Patents

增强现实眼镜及其触控方法 Download PDF

Info

Publication number
CN112925413B
CN112925413B CN202110173088.7A CN202110173088A CN112925413B CN 112925413 B CN112925413 B CN 112925413B CN 202110173088 A CN202110173088 A CN 202110173088A CN 112925413 B CN112925413 B CN 112925413B
Authority
CN
China
Prior art keywords
module
positioning
glasses
augmented reality
millimeter wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110173088.7A
Other languages
English (en)
Other versions
CN112925413A (zh
Inventor
闫旭辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110173088.7A priority Critical patent/CN112925413B/zh
Publication of CN112925413A publication Critical patent/CN112925413A/zh
Application granted granted Critical
Publication of CN112925413B publication Critical patent/CN112925413B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请公开了一种增强现实眼镜及其触控方法，属于增强现实设备领域，增强现实眼镜，包括：眼镜本体，所述眼镜本体包括镜腿；至少一个触控笔，所述至少一个触控笔为所述镜腿的至少一部分，所述至少一个触控笔具有与所述眼镜本体相脱离的第一状态和设置在所述眼镜本体上的第二状态，所述触控笔设置有定位模块；在所述触控笔处于所述第一状态下，所述增强现实眼镜根据所述定位模块相对所述眼镜本体的空间位置变化信息，执行触控操作。能够解决现有的增强现实眼镜的交互场景受到限制以及交互效果不高的问题。

Description

增强现实眼镜及其触控方法
技术领域
本申请属于增强现实设备领域，具体涉及一种增强现实眼镜及其触控方法。
背景技术
增强现实眼镜也叫做AR(Augmented Reality)眼镜，AR眼镜在工业、医疗、运维、安全、服务等场景跨界整合中逐渐得到应用，AR眼镜的运用场景包括远程医疗、工业设备维修、电力巡检、安全管理、物流仓储等。
现有的AR眼镜的投影交互功能主要通过红外触控和语音交互来实现，而红外触控需要通过红外发射器发出信号，再通过定位镜头捕捉，这个过程会受到平面材质、环境光线、周围电子设备等各种因素的干扰；而语音交互则存在信息接收率低、环境要求高等缺点，从而导致AR眼镜的交互场景受到限制以及交互效果不高等问题。
申请内容
本申请实施例的目的是提供一种增强现实眼镜及其触控方法，能够解决现有的增强现实眼镜的交互场景受到限制以及交互效果不高的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种增强现实眼镜，包括：
眼镜本体，所述眼镜本体包括镜腿；
至少一个触控笔，所述至少一个触控笔为所述镜腿的至少一部分，所述至少一个触控笔具有与所述眼镜本体相脱离的第一状态和设置在所述眼镜本体上的第二状态，所述触控笔设置有定位模块；
在所述触控笔处于所述第一状态下，所述增强现实眼镜根据所述定位模块相对所述眼镜本体的空间位置变化信息，执行触控操作。
第二方面，本申请实施例提供了一种增强现实眼镜的触控方法，所述增强现实眼镜包括眼镜本体和第一触控笔，所述第一触控笔设置有定位模块，所述方法包括：
在所述第一触控笔处于与所述眼镜本体相脱离的第一状态下，获取所述定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二定位数据；
根据所述第一定位数据和所述第二定位数据，获得所述定位模块的空间位置变化信息；
根据所述空间位置变化信息，确定对应的触控操作。
第三方面，本申请实施例提供了一种增强现实眼镜，包括：
定位数据获取模块，用于在所述第一触控笔处于与所述眼镜本体相脱离的第一状态下，获取所述定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二位置数据；
空间位置变化信息获取模块，用于根据所述第一定位数据和所述第二定位数据，获得所述定位模块的空间位置变化信息；
触控模块，用于根据所述空间位置变化信息，确定对应的触控操作。
第四方面，本申请实施例提供了增强现实眼镜，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第二方面所述的方法的步骤。
在本申请实施例中，增强现实眼镜的触控笔具有两种工作状态，一种是与增强现实眼镜相脱离的第一状态，一种是安装在增强现实眼镜上的第二状态，当触控笔处于第一状态时，可以采用触控笔在增强现实眼镜形成的全息投影画面上进行触控操作，具体地可以采用带有3D结构光的第一摄像头模块或毫米波通讯模块中的一种来实现触控功能，并根据触控笔与眼镜本体的空间位置以及定位模块的不同分别采用不同的坐标计算方式，以获取定位模块的坐标位置，从而获得定位模块的空间位置变化信息，生成触控指令，此种触控方式不受交互场景的限制，从而提高增强现实眼镜的应用范围。
附图说明
图1是本实施例提供的一种增强现实眼镜的组成部件结构示意图；
图2是本实施例提供的第一摄像头模块和第二摄像头模块的采集图像方式示意图；
图3是本实施例提供的一种增强现实眼镜的触控方式流程示意图；
图4是本实施例提供的第一摄像头模块位于触控笔的前端的触控方式示意图；
图5是本实施例提供的第一摄像头模块位于触控笔的尾端的触控方式示意图；
图6是本实施例提供的眼镜本体的坐标系建立示意图；
图7是本实施例提供的眼镜本体与定位模块的坐标系关系示意图；
图8是本实施例提供的利用毫米波通讯模块的触控方式示意图；
图9是本实施例提供的对触控指令进行校正的方法的示意图；
图10是本实施例提供的增强现实眼镜的处理部件的结构示意图；
图11是本实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的增一种强现实眼镜及其触控方法进行详细地说明。
本实施例提供一种增强现实眼镜，参考图1，该增强现实眼镜包括眼镜本体10和至少一个触控笔12，眼镜本体10包括镜腿11，至少一个触控笔为眼镜本体的至少一部分。例如，眼镜本体包括两个触控笔，一个触控笔可拆卸地设置在镜腿11所在的位置上，另一个触控笔作为镜腿本身；也可以是两个触控笔均可拆卸地设置在镜腿11所在的位置上。触控笔与镜腿的连接方式可以采用插接或卡接的连接方式，例如，上述镜腿11的内部具有中空结构，至少一个触控笔12可以设置在该中空结构中，能够实现触控笔12与增强现实眼镜的拔插连接；还可以在上述镜腿11的表面设置一卡扣，该卡扣用于实现触控笔12与镜腿11的卡接。
在一个可行的例子中，眼镜本体10还可以包括镜片，镜片设置在镜框内，增强现实眼镜通过镜片向用户展示增强现实眼镜形成的虚拟影像。
本实施例的触控笔12具有与眼镜本体10相脱离的第一状态和设置在眼镜本体10上的第二状态，例如，当触控笔12未插接在镜腿11的中空结构中，也未卡接在镜腿11的卡扣中时，即触控笔12与眼镜本体10相脱离，触控笔12处于第一状态，也就是用户使用触控笔12进行触控操作的情况；当触控笔12插接在镜腿11的中空结构中或卡接在镜腿11的卡扣中时，即触控笔12设置在眼镜本体10上，触控笔12处于第二状态，也就是触控笔处于采集图像数据的情况。
本实施例中，触控笔12设置有定位模块，可以通过该定位模块获取触控笔12的第一状态或第二状态；也可以在触控笔12上设置位移传感器，通过位移传感器获取触控笔12自身的位置变化来获取触控笔12的第一状态和第二状态；还可以在镜腿11的中空结构或卡扣上设置开关传感器来判断触控笔12是否插接在镜腿11的中空结构中或卡接在镜腿11的卡扣中，从而判断触控笔的第一状态和第二状态。
进一步地，当触控笔12处于第一状态下，增强现实眼镜根据定位模块相对眼镜本体10的空间位置变化信息，执行触控操作。由于增强现实眼镜是将真实的环境画面和数字模型相融合形成全息影像展现给用户，因此，用户可以通过增强现实眼镜看见一个全息投影界面，该全息投影界面存在于增强现实眼镜所形成的全息投影区域内，该全息投影区域具有一定的深度空间，呈现立体感，因此用户可以通用触控笔12在该全息界面上进行触控操作。
具体地，可以通过获取定位模块的空间位置变化信息来获取触控笔12与全息投影界面的接触点的空间位置变化信息，根据该空间位置变化信息生成对应的点击或者滑动触控指令，从而执行触控操作，需要说明的是，本实施例的定位模块可以作为触控笔与全息投影界面的接触点，也可以作为触控笔与全息投影界面的接触点的中间点。例如，当定位模块为带有3D结构光的第一摄像头模块时，定位模块可以存在于触控的两端，当定位模块位于触控笔的笔尖时，利用触控笔的笔尖进行触控，定位模块的坐标可以作为触控笔与全息投影界面的接触点坐标；当定位模块位于触控笔的笔尾时，利用触控笔的笔尖进行触控，此时定位模块位于触控笔与全息投影界面的接触点之间。
可选地，触控笔12包括毫米波通讯模块13和带有3D结构光的第一摄像头模块14中的至少一个模块，定位模块为毫米波通讯模块；或者，定位模块为带有3D结构光的第一摄像头模块。其中，毫米波mmW属于高频段，它以直射波的方式在空间进行传播，波束很窄，具有良好的方向性，毫米波通讯模块13则是采用毫米波进行信号传输的模块。带有3D结构光的第一摄像头模块14则是通过发射光线到被测物体上，在被测物体上形成的三维光图形，并拍摄，将拍摄图像经采集处理系统处理后获得被测物体表面数据，从而得到一张拥有深度的光线图像，以获取被拍摄物体的三维结构。第一摄像头模块14可以为3D结构光摄像头模组，毫米波通讯模块13可以是集成有mmW天线模组的毫米波通讯芯片。由此可知，当触控笔12同时具有毫米波通讯模块13和带有3D结构光的第一摄像头模块14时，可以采用毫米波通讯模块13作为定位模块，也可以采用3D结构光的第一摄像头模块14作为定位模块，因此，定位模块为毫米波通讯模块或者带有3D结构光的第一摄像头模块。
当定位模块为具有3D结构光的第一摄像头模块14时，本实施例的增强现实眼镜具有至少一个触控笔12，第一摄像头模块14设置在触控笔12的任一端，当触控笔12处于第一状态，利用该触控笔12进行触控操作时，可以利用该触控的任一端进行触控，通过定位模块获取触控笔12与全息界面的接触点的空间位置变化信息，从而生成触控指令，实现触控操作。
当定位模块为毫米波通讯模块13时，本实施例的增强现实眼镜包括两个触控笔12；在一触控笔12处于第一状态及另一触控笔12处于第二状态下，增强现实眼镜通过两个触控笔12的定位模块进行通信，获得一触控笔12的定位模块相对眼镜本体10的空间位置变化信息，并根据空间位置变化信息执行触控操作。也就是说，一个触控笔12设置在眼镜本体10上，另一个触控笔12与眼镜本体10分离，用于触控。两个触控笔12上的毫米波通讯模块互相通信，位于眼镜本体10上的毫米波通讯模块13从不同的角度向另一毫米波通讯模块13发送天线信号，获取信号强度为最强时刻的发射角度和两个定位模块的距离，从而得到用于触控的触控笔12的定位模块相对眼镜本体10的空间位置变化信息，并根据空间位置变化信息执行触控操作。
进一步地，本实施例的眼镜本体10还设置有第二摄像头模块15，该第二摄像头模块15设置于增强现实眼镜的前端用于采集用户前方的环境画面。当至少一个触控笔12处于第二状态下时，该触控笔12可以通过采集用户后方的画面以形成全息投影画面，此时，定位模块为带有3D结构光的第一摄像头模块14，在触控笔12处于第二状态下，第一摄像头模块14位于对应触控笔12的远离第二摄像头模块15的一端上，增强现实眼镜根据第一摄像头模块14采集的图像和第二摄像头模块15采集的图像进行投影显示。如图2所示，第二摄像头模块15拍摄的图像区域为区域1，两个触控笔12的第一摄像头模块14采集的图像区域为区域2和区域3，第一摄像头模块14和第二摄像头模块15将拍摄的画面传输至增强现实眼镜，增强现实眼镜将区域1、区域2和区域3的图像合成为一幅景象后，将合成后的景象以全息图的方式展现给用户，能够让用户同时观测到身前身后的景象，达到增强现实效果。其中，可以在第一摄像头模块14和第二摄像头内部设置通讯模块以实现第一摄像头和第二摄像头与增强现实眼镜的数据传输。
需要说明的是，上述触控笔12的第一状态和第二状态的顺序不分先后，可以是在触控笔12采集完用户身后的画面，已经合成全息投影之后再进行触控操作，也可以是在利用触控笔12触控时，由第二摄像头采集的用户前方的画面所形成的全息投影画面，通过触控笔12对该全息投影画面进行触控。
由上述实施例可知，本实施例提供的增强现实眼镜的触控笔12具有两种工作状态，一种是与增强现实眼镜相脱离的第一状态，一种是与增强现实眼镜相连接的第二状态，当触控笔12处于第一状态时，可以采用触控笔12在增强现实眼镜形成的全息投影画面上进行触控操作，可以采用带有3D结构光的第一摄像头模块14或毫米波通讯模块13中的一种来实现触控功能，此种触控方式不受交互场景的限制，从而提高增强现实眼镜的应用范围；当触控笔12处于第二状态时，可以利用触控笔12的第一摄像头模块14和增强现实眼镜的第二摄像头模块15采集到的画面共同合成全方位的全景增强现实景象，从而提高增强现实眼镜的投影效果和用户体验。
本实施例提供一种增强现实眼镜的触控方法，增强现实眼镜包括眼镜本体10和第一触控笔，第一触控笔设置有定位模块，眼镜本体10为上述增强现实眼镜的眼镜本体10，定位模块为上述具有3D结构光的第一摄像头模块14和毫米波通讯模块13，参考图3，该方法包括如下步骤：
步骤S1：在第一触控笔处于与眼镜本体10相脱离的第一状态下，获取定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二定位数据。
由上述实施例可知在于眼镜本体10相脱离的状态下触控笔12执行触控功能，因此实现触控功能需要触控笔12处于第一状态下，此时利用触控笔12的定位模块采集相邻的第一采样时刻和第二采样时刻的定位数据，即采集对应第一采样时刻的第一定位数据和对应第二采样时刻的第二定位数据。由于定位模块可以是具有3D结构光的第一摄像头模块14，也可以是毫米波通讯模块13，因此，第一定位数据和第二定位数据可以是第一摄像头模块14通过发射3D结构光照射眼镜本体10的佩戴者的脸部得到的图像数据，第一定位数据和第二定位数据也可以是毫米波通讯模块13之间的信号发射角度和距离数据。
步骤S2：根据第一定位数据和第二定位数据，获得定位模块的空间位置变化信息。
由步骤S1可知第一定位数据和第二定位数据是图像数据或者信号发射角度和距离数据，其不能直接得到定位模块的坐标，因此，本实施例根据第一定位数据，获得定位模块相对眼镜本体10的第一位置坐标；根据第二定位数据，获得定位模块相对眼镜本体10的第二位置坐标；根据第一位置坐标和第二位置坐标，获得定位模块的空间位置变化信息，空间位置变化信息包括深度坐标变化信息和平面坐标变化信息。
在一个可行的例子中，可以采用三维坐标的创建，将定位模块和眼镜本体10等效在固定的三维坐标中，利用二者在三维坐标中的相对位置关系来得到二者在同一个三维坐标中的具体坐标。由于眼镜本体10自身具有一定的体积，本实施例可以在计算定位模块和眼镜本体10的位置关系时，选取一优选的参考点作为三维坐标的原点，例如将眼镜本体10的两镜框之间的中心点作为三维坐标的原点。
步骤S3：根据空间位置变化信息，确定对应的触控操作。
空间位置变化信息可以是三维空间上任一位置的变化，具体表现在坐标的变化，而坐标的变化表征触控笔12相对于全息投影画面的变化情况，从而可以作为生成触控指令的依据。因此，本实施例中根据空间位置变化信息，确定对应的触控指令；根据触控指令，对增强现实眼镜显示的投影画面执行对应的触控操作。
当使用触控笔12执行触控操作时，在定位模块在投影画面上的位置未发生变化，且在垂直于所述投影画面的深度方向上的位置发生变化的情况下，也就是用户将触控笔12深入到投影画面内部，不是在投影画面的表面进行操作，确定对应的触控指令为点击触控指令。同理，当触控笔12在垂直于投影画面的深度方向上的位置未发生变化，而在投影画面上的位置发生变化的情况下，也就是用户未将触控笔12深入到投影画面内部，只在投影画面的表面进行操作，此时，确定用户有对全息投影画面进行滑动操作的意识，则确定对应的触控指令为滑动触控指令。
另外，由于全息投影画面是虚拟的三维画面，在空中实现触控需要操作者具有较强的稳定性，否则有可能发生误触操作，因此本实施例通过设置预设值进行用户三维触控的矫正与校准，在空间位置变化信息表示在垂直于投影画面的深度方向上的位置变化值超出预设值的情况下，或者，在空间位置变化信息表示所述定位模块在投影画面上的位置发生变化值超出预设值的情况下，确定对应的触控指令，从而避免误触操作。
其中，当定位模块为带有3D结构光的第一摄像头模块14时，第一定位数据和所述第二定位数据为第一摄像头模块14通过发射3D结构光照射眼镜本体10的佩戴者的脸部得到的图像数据。一般情况下，参考图4，定位模块位于触控笔12的前端，也就是笔尖，该触控笔12的前端为触控笔12与投影画面的接触点。但是由于使用触控笔12的方式和习惯不同，且当第一摄像头位于触控笔12的前端时，可能造成结构光识别的死角，因此，参考图5，本实施例还可以将定位模块设置在触控笔12的尾端，也就是笔尾，从而使第一摄像头模块14正对人脸和智能眼镜，具有很高且精确的定位识别度。下面分别对定位模块位于触控笔12的前端和尾端的情况进行举例说明。
参考图4，当定位模块位于触控笔12的前端时，以眼镜本体10的中心为(0,0,0)点建立全局abc坐标系，参考图6，全息投影画面区域空间坐标分别为(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)、(a4,b4,c4)，其中c1＝c2＝c3＝c4，c1、c2、c3、c4为全息投影画面的深度坐标；
参考图7，以第一摄像头模块14中心为(0,0,0)点建立局部xyz坐标系，在空间位置关系上，全局abc坐标系与局部xyz坐标系互相平行；
通过第一摄像头模块14发射3D结构光照射眼镜本体10的佩戴者的脸部得到的图像数据，也就是第一定位数据和第二定位数据，由此图像数据可以得到眼镜本体10与第一摄像头模块14之间的深度信息，从而确定眼镜本体10中心在局部xyz坐标系中的局部坐标(x1、y1、z1)。
由于全局abc坐标系与局部xyz坐标系互相平行，第一摄像头模块14中心为原点(0,0,0)，眼镜本体10在全局abc坐标系的坐标为(0,0,0)点，由此可以根据得到第一摄像头模块14在全局坐标系下的坐标(ax、by、cz),(ax、by、cz)的计算公式为：
ax＝-x1；by＝-y1；cz＝-z1
由上式得到的(ax、by、cz)即为定位模块的位置坐标，从而得到第一采样时刻的第一位置坐标和第二采样时刻的第二位置坐标。根据第一位置坐标和第二位置坐标的变化得到定位模块的空间位置变化信息。
在代表深度坐标的cz发生变化，代表平面坐标的ax、by未发生变化时，生成点击触控指令，增强现实眼镜对投影画面进行点击操作；在代表深度坐标的cz未发生变化，代表平面坐标的ax、by发生变化时，生成滑动触控指令，增强现实眼镜对投影画面进行滑动操作。
进一步地，参考图5，当定位模块位于触控笔12的尾端时，以眼镜本体10的中心为(0,0,0)点建立全局abc坐标系，全息投影画面区域空间坐标分别为(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)、(a4,b4,c4)，其中c1＝c2＝c3＝c4，c1、c2、c3、c4为全息投影画面的深度坐标；
以第一摄像头模块14中心为(0,0,0)点建立局部xyz坐标系；
通过第一摄像头模块14发射3D结构光照射眼镜本体10的佩戴者的脸部得到的图像数据，也就是第一定位数据和第二定位数据，由此图像数据可以得到眼镜本体10与第一摄像头模块14之间的深度信息，从而确定眼镜本体10中心在局部xyz坐标系中的局部坐标(x1、y1、z1)。
对全局abc坐标系与局部xyz坐标系进行转换，假设触控笔12的长度为L，则触控笔12的前端在全局坐标系中的坐标为(L,0,0)，由于第一摄像头模块14中心为原点(0,0,0)，可以根据空间坐标转换得到第一摄像头模块14在全局坐标系下的坐标(ax、by、cz),(ax、by、cz)的计算公式为：
ax＝x1*cos(-L,ax)+y1*cos(0,ax)+z1*cos(-L,ax)；
by＝x1*cos(-L,by)+y1*cos(0,by)+z1*cos(-L,by)；
cz＝x1*cos(-L,cz)+y1*cos(0,cz)+z1*cos(-L,cz)；
其中，cos(-L,ax)代表坐标轴a和x的夹角，cos(0,by)代表坐标轴b和y的夹角，cos(-L,cz)代表坐标轴c和z的夹角，上式得到的(ax、by、cz)即为触控笔12前端与全息投影画面接触点的位置坐标，从而根据(ax、by、cz)的变化得到定位模块的空间位置变化信息。
在代表深度坐标的cz发生变化，代表平面坐标的ax、by未发生变化时，生成点击触控指令，增强现实眼镜对投影画面进行点击操作；在代表深度坐标的cz未发生变化，代表平面坐标的ax、by发生变化时，生成滑动触控指令，增强现实眼镜对投影画面进行滑动操作。
本实施例中，参考图8，定位模块还可以为第一毫米波通讯模块131，第一定位数据和所述第二定位数据为：第一毫米波通讯模块131接收位于眼镜本体10上的第二毫米波通讯模块132以不同波束扫描角度发射的信号的最高信号强度数据。也就是第一毫米波通讯模块131用于触控，第二毫米波通讯模块132设置在眼镜本体10上。此时增强现实眼镜包括第二触控笔，第二触控笔设置在眼镜本体10的腿部所在的位置上，第二触控笔可以同时包括第二毫米波通讯模块132和第一摄像头模块14，第一摄像头模块14用于采集用户身后的图像数据，第二毫米波通讯模块132设置在眼镜本体10的前端，第二毫米波通讯模块132为第二触控笔的毫米波通讯模块13。同时，第二毫米波通讯模块132可以作为增强现实眼镜的天线模块，用于信号的传输。
此时，本实施例的上述步骤S2根据第一定位数据和第二定位数据，获得所述定位模块的空间位置变化信息，包括：
根据第一定位数据，获得第一毫米波通讯模块131相对第二毫米波通讯模块132的第一旋转角度和第一毫米波通讯模块131与第二毫米波通讯模块132间的第一距离；
根据第一旋转角度和第一距离获得第一毫米波通讯模块131相对眼镜本体10的第三位置坐标；
根据第二定位数据，获得第一毫米波通讯模块131相对第二毫米波通讯模块132的第二旋转角度和第一毫米波通讯模块131与第二毫米波通讯模块132间的第二距离；
根据第二旋转角度和第二距离，获得第一毫米波通讯模块131相对眼镜本体10的第四位置坐标；
根据第三位置坐标和第四位置坐标，获得第一毫米波通讯模块131的空间位置变化信息。
在一个可行的实施例中，可以以眼镜本体10的中心为(0,0,0)点建立全局abc坐标系，全息投影画面区域空间坐标分别为(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)、(a4,b4,c4)，其中c1＝c2＝c3＝c4，c1、c2、c3、c4为全息投影画面的深度坐标。
假设眼镜前端的宽度为m，则参考图8，第二毫米波通讯模块132的坐标为(-m/2,0,0)。
第一毫米波通讯模块131和第二毫米波通讯模块132之间利用毫米波互相通信，第二毫米波通讯模块132以不同的波束扫描角度向第一毫米波通讯模块131发射天线信号，第一毫米波通讯模块131根据接收天线接收信号强度与第二毫米波通讯模块132通信，以调整发射天线的波束扫描角度，直至接收到的信号强度为最大值，此时第二毫米波通讯模块132与第一毫米波通讯模块131之间的角度即为旋转角度。从而得到第一旋转角度和第二旋转角度，在第一旋转角度和第二旋转角度下的第二毫米波通讯模块132与第一毫米波通讯模块131之间的距离即为第一距离和第二距离。
若旋转角度为(α，β，η)，则由第二毫米波通讯模块132与第一毫米波通讯模块131之间的信号强度RSSI公式可以计算出第二毫米波通讯模块132与第一毫米波通讯模块131之间的直线距离r，信号强度RSSI公式为：
RSSI＝A-10*n*logr
其中，A为第二毫米波通讯模块132与第一毫米波通讯模块131间隔1米距离时的信号强度，n为传播因子，与温度、湿度等环境相关，优选地，常温环境下的传播因子3.0；如此可以计算得到第二毫米波通讯模块132与第一毫米波通讯模块131之间的直线距离r。
再根据距离r和旋转角度(α，β，η)计算得到第一毫米波通讯模块131在全局abc坐标系中的全局坐标(u，v，w)，计算公式为：
u＝r*cos(α)-m/2
v＝r*cos(β)
w＝r*cos(η)
根据上述计算(u，v，w)的方式在第一采样时刻得到对应的第三位置坐标，在第二采样时刻得到对应的第四位置坐标，从而根据第三位置坐标和第四位置坐标，获得第一毫米波通讯模块131的空间位置变化信息。
空间位置变化信息包括深度坐标变化信息和平面坐标变化信息，在代表深度坐标的w发生变化，代表平面坐标的u、v未发生变化时，生成点击触控指令，增强现实眼镜对投影画面进行点击操作；在代表深度坐标的w未发生变化，代表平面坐标的u、v发生变化时，生成滑动触控指令，增强现实眼镜对投影画面进行触控操作。
在上述生成触控指令之前，为了避免误触，参考图9，通过预设值进行用户三维触控的矫正与校准，该预设值可以是一球形阈值，该球形阈值的半径R为10mm，当深度坐标w或cz的变化量超出该球形阈值区域，而代表平面坐标的u、v或ax、by的变化量仍在球形阈值区域时，增强现实眼镜才生成点击控指令。同理，当深度坐标w或cz的变化量未超出该球形阈值区域，而代表平面坐标的u、v或ax、by的变化量超出球形阈值区域时，增强现实眼镜才生成话滑动控指令。
需要说明的是，增强现实眼镜在实现投影功能的情况下，上述眼镜本体10包括镜腿11、第二摄像头模块15和投影模块，触控笔12具有设置在眼镜本体10的镜腿11所在位置上的第二状态，定位模块位于触控笔12的邻近镜腿11末端的一端上，此时，本实施例的方法还包括：
在触控笔12处于第二状态下，获取第一摄像头模块14采集到的图像数据和第二摄像头采集到的图像数据；根据第一摄像头模块14采集到的图像数据和第二摄像模块采集到的图像数据，控制投影模块进行投影，并通过增强现实眼镜的镜片进行显示。
如图2所示，第二摄像头模块15拍摄的图像区域为区域1，两个触控笔12的第一摄像头模块14采集的图像区域为区域2和区域3，第一摄像头模块14和第二摄像头模块15将拍摄的画面传输至增强现实眼镜，增强现实眼镜将区域1、区域2和区域3的图像合成后，将合成后的景象以全息图的方式展现，能够让用户同时观测到身前身后的景象，达到增强现实效果。其中，可以在第一摄像头模块14和第二摄像头内部设置通讯模块以实现第一摄像头和第二摄像头与增强现实眼镜的数据传输。
本实施例提供的增强现实眼镜的触控方法，根据触控笔12与眼镜本体10的空间位置以及定位模块的不同分别采用不同的坐标计算方式，以获取定位模块的坐标位置，从而获得定位模块的空间位置变化信息，根据空间位置变化信息生成触控指令，同时设置球形阈值对触控指令的生成过程进行校正，提高触控准确率，同时利用触控笔12的第一摄像头模块14和增强现实眼镜的第二摄像头模块15采集到的画面共同合成全方位的全景增强现实景象，从而提高增强现实眼镜的投影效果和用户体验。
参考图10，本实施例提供一种增强现实眼镜20，增强现实眼镜20包括：
定位数据获取模块24，用于在第一触控笔处于与眼镜本体10相脱离的第一状态下，获取定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二位置数据，具体的该模块的功能在上述实施例中均有描述，为避免重复，在此不再赘述。
空间位置变化信息获取模块23，用于根据第一定位数据和第二定位数据，获得定位模块的空间位置变化信息；
触控模块22，用于根据空间位置变化信息，确定对应的触控操作。
其中，空间位置变化信息获取模块23具体用于根据第一定位数据，获得定位模块相对眼镜本体10的第一位置坐标；根据第二定位数据，获得定位模块相对眼镜本体10的第二位置坐标；根据第一位置坐标和第二位置坐标，获得定位模块的空间位置变化信息。
空间位置变化信息获取模块23具体还用于根据第一定位数据，获得第一毫米波通讯模块131相对第二毫米波通讯模块132的第一旋转角度和第一毫米波通讯模块131与第二毫米波通讯模块132间的第一距离；根据第一旋转角度和第一距离获得第一毫米波通讯模块131相对眼镜本体10的第三位置坐标；根据第二定位数据，获得第一毫米波通讯模块131相对第二毫米波通讯模块132的第二旋转角度和第一毫米波通讯模块131与第二毫米波通讯模块132间的第二距离；根据第二旋转角度和第二距离，获得第一毫米波通讯模块131相对眼镜本体10的第四位置坐标；根据第三位置坐标和第四位置坐标，获得第一毫米波通讯模块131的空间位置变化信息。
触控模块22还用于在空间位置变化信息表示定位模块在投影画面上的位置未发生变化，且在垂直于投影画面的深度方向上的位置发生变化的情况下，确定对应的触控指令为点击触控指令。以及，在空间位置变化信息表示在垂直于投影画面的深度方向上的位置未发生变化，且定位模块在投影画面上的位置发生变化的情况下，确定对应的触控指令为滑动触控指令。
增强现实眼镜还包括投影模块21，用于获取第一摄像头模块14采集到的图像数据和第二摄像模块采集到的图像数据合成后的全息影像进行投影显示。
本实施例提供的增强现实眼镜的触控方法，根据触控笔12与眼镜本体10的空间位置以及定位模块的不同分别采用不同的坐标计算方式，以获取定位模块的坐标位置，从而获得定位模块的空间位置变化信息，根据空间位置变化信息生成触控指令，同时设置球形阈值对触控指令的生成过程进行校正，提高触控准确率，同时利用触控笔12的第一摄像头模块14和增强现实眼镜的第二摄像头模块15采集到的画面共同合成全方位的全景增强现实景象，从而提高增强现实眼镜的投影效果和用户体验。
本申请实施例中的增强现实眼镜可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的增强现实眼镜可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本实施例提供的一种增强现实眼镜，包括处理器，存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如一种增强现实眼镜的触控方法的步骤。
需要说明的是，本申请实施例提供的增强现实眼镜的触控方法，执行主体可以为增强现实眼镜的处理器，或者该增强现实眼镜中的用于执行加载触控方法的定位数据获取模块、空间位置变化信息获取模块、触控模块和投影模块。
可选的，本申请实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的程序或指令，该程序或指令被处理器1010执行时实现上述增强现实眼镜的触控方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，输入单元1004，用于获取定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二定位数据；
处理器1010，用于根据第一定位数据和第二定位数据，获得定位模块的空间位置变化信息；根据空间位置变化信息，确定对应的触控操作。
可选的，处理器1010，还用于根据第一定位数据，获得定位模块相对眼镜本体10的第一位置坐标；根据第二定位数据，获得定位模块相对所述眼镜本体10的第二位置坐标；根据第一位置坐标和第二位置坐标，获得定位模块的空间位置变化信息。
处理器1010，还用于在触控笔12处于所述第二状态下，获取第一摄像头模块14采集到的图像数据和第二摄像头采集到的图像数据；根据第一摄像头模块14采集到的图像数据和第二摄像模块采集到的图像数据，控制投影模块进行投影。
处理器1010，还用于根据第一定位数据和第二定位数据得到第三位置坐标和第四位置坐标，获得第一毫米波通讯模块131的空间位置变化信息；根据空间位置变化信息，确定对应的触控指令；根据所述触控指令，对增强现实眼镜显示的投影画面执行对应的触控操作。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述增强现实眼镜的触控方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (8)

1.一种增强现实眼镜，其特征在于，包括：
眼镜本体，所述眼镜本体包括镜腿；
至少一个触控笔，所述至少一个触控笔为所述镜腿的至少一部分，所述至少一个触控笔具有与所述眼镜本体相脱离的第一状态和设置在所述眼镜本体上的第二状态，所述触控笔设置有定位模块，所述触控笔包括毫米波通讯模块和带有3D结构光的第一摄像头模块中的至少一个模块，所述定位模块为毫米波通讯模块；或者，所述定位模块为带有3D结构光的第一摄像头模块；
在所述触控笔处于所述第一状态下，所述增强现实眼镜根据所述定位模块相对所述眼镜本体的空间位置变化信息，执行触控操作；
所述定位模块为带有3D结构光的第一摄像头模块，所述眼镜本体设置有第二摄像头模块；所述第二摄像头模块设置在所述眼镜本体的前端，在所述触控笔处于所述第二状态下，所述第一摄像头模块位于对应触控笔远离所述第二摄像头模块的一端上，所述增强现实眼镜根据第一摄像头模块采集的图像和所述第二摄像头模块采集的图像进行图像合成，并通过所述增强现实眼镜的镜片对合成后的图像进行显示。
2.根据权利要求1所述的增强现实眼镜，其特征在于，所述定位模块为毫米波通讯模块，所述增强现实眼镜包括两个触控笔；
在一触控笔处于所述第一状态及另一触控笔处于所述第二状态下，所述增强现实眼镜通过所述两个触控笔的定位模块进行通信，获得所述一触控笔的定位模块相对所述眼镜本体的空间位置变化信息，并根据所述空间位置变化信息执行触控操作。
3.一种增强现实眼镜的触控方法，其特征在于，所述增强现实眼镜包括眼镜本体和第一触控笔，所述第一触控笔设置有定位模块，所述眼镜本体包括第二摄像头模块和投影模块，所述定位模块位于所述第一触控笔的远离所述第二摄像头模块的一端上，所述方法包括：
在所述第一触控笔处于与所述眼镜本体相脱离的第一状态下，获取所述定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二定位数据；
根据所述第一定位数据和所述第二定位数据，获得所述定位模块的空间位置变化信息；
根据所述空间位置变化信息，确定对应的触控操作；
在所述第一触控笔处于设置在所述眼镜本体上的第二状态下，获取第一摄像头模块采集到的图像数据和所述第二摄像头模块采集到的图像数据；
根据所述第一摄像头模块采集到的图像数据和所述第二摄像头模块采集到的图像数据进行图像合成，并控制所述投影模块投影显示合成后的图像。
4.根据权利要求3所述的方法，其特征在于，在所述定位模块为带有3D结构光的第一摄像头模块的情况下，所述定位模块位于所述触控笔的前端或者位于所述触控笔的尾端，所述第一定位数据和所述第二定位数据为所述第一摄像头模块通过发射3D结构光照射所述眼镜本体的佩戴者的脸部得到的图像数据。
5.根据权利要求3所述的方法，其特征在于，所述定位模块为第一毫米波通讯模块，所述第一定位数据和所述第二定位数据为：所述第一毫米波通讯模块接收位于所述眼镜本体上的第二毫米波通讯模块以不同波束扫描角度发射的信号的最高信号强度数据。
6.根据权利要求3所述的方法，其特征在于，在所述定位模块为第一毫米波通讯模块的情况下，所述根据所述第一定位数据和所述第二定位数据，获得所述定位模块的空间位置变化信息，包括：
根据所述第一定位数据，获得第一毫米波通讯模块相对第二毫米波通讯模块的第一旋转角度和所述第一毫米波通讯模块与所述第二毫米波通讯模块间的第一距离；
根据所述第一旋转角度和所述第一距离获得所述第一毫米波通讯模块相对所述眼镜本体的第三位置坐标；
根据所述第二定位数据，获得所述第一毫米波通讯模块相对所述第二毫米波通讯模块的第二旋转角度和所述第一毫米波通讯模块与所述第二毫米波通讯模块间的第二距离；
根据所述第二旋转角度和所述第二距离，获得所述第一毫米波通讯模块相对所述眼镜本体的第四位置坐标；
根据所述第三位置坐标和所述第四位置坐标，获得所述第一毫米波通讯模块的空间位置变化信息。
7.一种增强现实眼镜，其特征在于，所述增强现实眼镜包括眼镜本体和第一触控笔，所述第一触控笔设置有定位模块，所述眼镜本体包括第二摄像头模块和投影模块，所述定位模块位于所述第一触控笔的远离所述第二摄像头模块的一端上，所述增强现实眼镜还包括：
定位数据获取模块，用于在所述第一触控笔处于与所述眼镜本体相脱离的第一状态下，获取所述定位模块采集到的对应第一采样时刻的第一定位数据和对应第二采样时刻的第二定位数据；
空间位置变化信息获取模块，用于根据所述第一定位数据和所述第二定位数据，获得所述定位模块的空间位置变化信息；
触控模块，用于根据所述空间位置变化信息，确定对应的触控操作；
投影模块，用于在所述第一触控笔处于设置在所述眼镜本体上的第二状态下，获取第一摄像头模块采集到的图像数据和所述第二摄像头模块采集到的图像数据；根据所述第一摄像头模块采集到的图像数据和所述第二摄像头模块采集到的图像数据进行图像合成，并投影显示合成后的图像。
8.一种增强现实眼镜，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求3-6中任一项所述的一种增强现实眼镜的触控方法的步骤。
CN202110173088.7A 2021-02-08 2021-02-08 增强现实眼镜及其触控方法 Active CN112925413B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110173088.7A CN112925413B (zh) 2021-02-08 2021-02-08 增强现实眼镜及其触控方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110173088.7A CN112925413B (zh) 2021-02-08 2021-02-08 增强现实眼镜及其触控方法

Publications (2)

Publication Number Publication Date
CN112925413A CN112925413A (zh) 2021-06-08
CN112925413B true CN112925413B (zh) 2023-06-23

Family

ID=76171231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110173088.7A Active CN112925413B (zh) 2021-02-08 2021-02-08 增强现实眼镜及其触控方法

Country Status (1)

Country Link
CN (1) CN112925413B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112114A1 (ko) * 2017-12-07 2019-06-13 엘지전자 주식회사 글래스 타입 단말기 및 그것의 동작방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1686554A3 (en) * 2005-01-31 2008-06-18 Canon Kabushiki Kaisha Virtual space generating system, image processing apparatus and information processing method
WO2017146548A1 (ko) * 2016-02-25 2017-08-31 김수연 영상과 음성을 실시간으로 송수신이 가능하고 하우징 자체가 플렉시블 한 스마트 펜
US20190004622A1 (en) * 2017-06-28 2019-01-03 Walmart Apollo, Llc Systems, Methods, and Devices for Providing a Virtual Reality Whiteboard
US10425910B1 (en) * 2018-03-19 2019-09-24 Mitsubishi Electric Research Laboratories, Inc. Localization using millimeter wave communication signals
US20190369752A1 (en) * 2018-05-30 2019-12-05 Oculus Vr, Llc Styluses, head-mounted display systems, and related methods
US10986510B2 (en) * 2018-09-25 2021-04-20 Apple Inc. Electronic devices having sensor-augmented wireless link management
KR102145852B1 (ko) * 2018-12-14 2020-08-19 (주)이머시브캐스트 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법
CN109901714A (zh) * 2019-02-28 2019-06-18 淮北幻境智能科技有限公司 一种电子纸笔系统及其控制方法
CN112168348A (zh) * 2019-07-03 2021-01-05 钜旺生技股份有限公司 用于手术的定位与导航系统及其运作方法
CN110825223A (zh) * 2019-10-22 2020-02-21 维沃移动通信有限公司 一种控制方法及智能眼镜

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112114A1 (ko) * 2017-12-07 2019-06-13 엘지전자 주식회사 글래스 타입 단말기 및 그것의 동작방법

Also Published As

Publication number Publication date
CN112925413A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
US20200302670A1 (en) Image processing method, electronic device, and storage medium
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN108989678B (zh) 一种图像处理方法、移动终端
CN107592466B (zh) 一种拍照方法及移动终端
CN106454311B (zh) 一种led三维成像系统及方法
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
CN109510940B (zh) 一种图像显示方法及终端设备
CN110489027B (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
TW202025719A (zh) 圖像處理方法及裝置、電子設備及儲存介質
CN111061363A (zh) 一种虚拟现实系统
KR20210052570A (ko) 분리가능한 왜곡 불일치 결정
CN112017133B (zh) 一种图像展示方法、装置及电子设备
CN111680758B (zh) 图像训练样本生成方法和装置
CN113280752A (zh) 一种凹槽深度测量方法、装置、系统及激光测量设备
CN110555815B (zh) 一种图像处理方法和电子设备
CN111028161B (zh) 图像校正方法及电子设备
CN112925413B (zh) 增强现实眼镜及其触控方法
CN109842722B (zh) 一种图像处理方法及终端设备
US20200042821A1 (en) Interactive method and interactive system
CN108550182B (zh) 一种三维建模方法和终端
CN111369678A (zh) 三维场景重建方法及其系统
CN109816723A (zh) 投影控制方法、装置、投影交互系统及存储介质
CN112529770B (zh) 图像处理方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant