CN109814719B - 一种基于穿戴眼镜的显示信息的方法与设备 - Google Patents
一种基于穿戴眼镜的显示信息的方法与设备 Download PDFInfo
- Publication number
- CN109814719B CN109814719B CN201910093562.8A CN201910093562A CN109814719B CN 109814719 B CN109814719 B CN 109814719B CN 201910093562 A CN201910093562 A CN 201910093562A CN 109814719 B CN109814719 B CN 109814719B
- Authority
- CN
- China
- Prior art keywords
- information
- target image
- presented
- head
- display unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims description 66
- 230000003287 optical effect Effects 0.000 claims abstract description 178
- 238000004891 communication Methods 0.000 claims abstract description 151
- 230000003190 augmentative effect Effects 0.000 claims abstract description 138
- 230000015654 memory Effects 0.000 claims description 43
- 230000033001 locomotion Effects 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000000903 blocking effect Effects 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 31
- 238000010586 diagram Methods 0.000 description 12
- 239000003550 marker Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000010408 sweeping Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000005291 magnetic effect Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 2
- 238000000576 coating method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- 206010053615 Thermal burn Diseases 0.000 description 1
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000001746 injection moulding Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005499 meniscus Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种穿戴眼镜,包括头戴眼镜设备,所述头戴眼镜设备包括第二摄像装置和光学显示单元;与所述头戴眼镜设备存在通信连接的手持设备,所述手持设备包括第一摄像装置,还包括与所述第一摄像装置电连接的增强现实装置;所述增强现实装置用于接收所述第一摄像装置拍摄的第一目标图像,确定关于所述第一目标图像的待呈现信息,并通过所述通信连接向所述头戴眼镜设备发送所述待呈现信息;所述显示单元用于呈现所述待呈现信息。用户使用该穿戴眼镜时承受较小的压力,增加用户使用的舒适性,提升了用户体验。
Description
本申请要求CN 201810837851.X(一种基于穿戴眼镜的显示图像的方法与设备)的优先权。
技术领域
本申请涉及智能穿戴领域,尤其涉及一种基于穿戴眼镜的显示信息的技术。
背景技术
智能穿戴设备(又称可穿戴设备、穿戴式智能设备等)泛指内嵌在服装中,或以饰品、随身佩带物品形态存在的电子通信类设备。具体来说,智能穿戴设备是把信息的采集、记录、存储、显示、传输、分析、解决方案等功能与我们的日常穿戴相结合,成为我们穿戴的一部分,如衣服、帽子、眼镜、手环、手表、鞋子等。智能穿戴设备具备两个特点:首先它是一种拥有计算、储存或传输功能的硬件终端;其次它创新性地将多媒体、传感器和无线通信等技术嵌入人们的衣着当中或使其更便于携带,并创造出颠覆式的应用和交互体验。
随着科技的新浪潮,智能穿戴的市场份额越来越大,功能和外观不断更新换代,一款好的智能产品将带你体验不一样的生活。智能穿戴并不单单仅限于手环手表,它的载体形式多样丰富,同时它能适合不同的人群,其中,智能穿戴眼镜就是智能穿戴的一种形式。
发明内容
本申请的一个目的是提供一种基于穿戴眼镜的显示信息的方法与设备。
在一些实施例中,穿戴眼镜包括:
头戴眼镜设备,所述头戴眼镜设备包括镜架,以及装配于所述镜架的第二摄像装置和光学显示单元;
与所述头戴眼镜设备存在通信连接的手持设备,所述手持设备包括第一摄像装置,以及与所述第一摄像装置电连接的增强现实装置,所述增强现实装置通过所述通信连接分别与所述第二摄像装置、所述光学显示单元进行通信;
所述增强现实装置用于接收所述第一摄像装置拍摄的第一目标图像,确定关于所述第一目标图像的待呈现信息,并通过所述通信连接向所述光学显示单元发送所述待呈现信息;所述光学显示单元用于呈现所述待呈现信息。
在一些实施例中,穿戴眼镜包括:
头戴眼镜设备,所述头戴眼镜设备包括镜架,以及装配于所述镜架的第二摄像装置和光学显示单元;
与所述头戴眼镜设备存在通信连接的手持设备,所述手持设备包括第一摄像装置,还包括与所述第一摄像装置电连接的增强现实装置;
所述增强现实装置用于接收所述第一摄像装置拍摄的第一目标图像,并确定关于所述第一目标图像的关联信息。
在一些实施例中,穿戴眼镜包括遮光单元和光学显示单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧。
根据本申请的一个方面,提供了一种在头戴眼镜设备端显示信息的方法,该方法包括:
基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的;
在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的另一个方面,提供了一种在手持设备端用于向头戴眼镜设备提供待呈现信息的方法,该方法包括:
通过所述第一摄像装置拍摄第一目标图像;
基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的又一个方面,提供了一种基于穿戴眼镜的提供待呈现信息并呈现信息的方法,该方法包括:
所述手持设备通过所述第一摄像装置拍摄第一目标图像,并基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,并基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
所述头戴眼镜设备基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的,并在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的一个方面,提供了一种显示信息的头戴眼镜设备,该设备包括:
第一一模块,用于基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的;
第一二模块,用于在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的一个方面,提供了一种用于向头戴眼镜设备提供待呈现信息的手持设备,该设备包括:
第二一模块,用于通过所述第一摄像装置拍摄第一目标图像;
第二二模块,用于基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
第二三模块,用于基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的一个方面,提供了一种用于显示信息的头戴眼镜设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行:
基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的;
在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的一个方面,提供了一种用于向头戴眼镜设备提供待呈现信息的手持设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行:
通过所述第一摄像装置拍摄第一目标图像;
基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的一个方面,提供了存储指令的计算机可读介质,所述指令在被执行时使得系统进行:
基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的;
在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
根据本申请的一个方面,提供了存储指令的计算机可读介质,所述指令在被执行时使得系统进行:
通过所述第一摄像装置拍摄第一目标图像;
基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
与现有技术相比,本申请技术方案将穿戴眼镜的头戴眼镜设备与手持设备(包含信息处理模块)物理上分离,实际上通过有线或者无线方式来连接。头戴眼镜设备与手持设备分别设有拍摄功能的摄像装置,用户通过手持设备上的第一摄像装置拍摄头戴眼镜设备上的第二摄像装置不方便拍摄到的实时图像,并将第一目标图像以及由该图像确认的待呈现信息通过有线或者无线方式传输至用户的头戴眼镜设备,用户通过头戴眼镜设备可实时的看到手持设备拍摄的图像或相关的待呈现信息。本方案通过将穿戴眼镜的头戴眼镜设备与手持设备(包含信息处理模块)物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。此外,与现有的一体式头戴设备相比,该穿戴眼镜中的头戴眼镜设备中用于处理数据的电路元件大大减少,因此头戴眼镜设备的功耗降低、发热减少,可以避免温度过高而烫伤用户,同时也增加了头戴眼镜设备的续航能力,使得用户在连续使用头戴眼镜设备时体验也更佳。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是为本申请一个实施例提供的穿戴眼镜的结构示意图;
图2是为本申请一个实施例提供的穿戴眼镜的结构示意图;
图3是为本申请另一个实施例提供的穿戴眼镜的结构示意图;
图4是为本申请另一个实施例提供的穿戴眼镜的结构示意图;
图5是为本申请一个实施例提供的穿戴眼镜的头戴眼镜设备的示意图;
图6是为本申请一个实施例提供的穿戴眼镜的头戴眼镜设备的示意图;
图7是为本申请一个实施例提供的穿戴眼镜的手持设备的示意图;
图8示出根据本申请的一个实施例的一种在头戴眼镜设备端显示信息的方法流程图;
图9示出根据本申请的另一个实施例的一种在手持设备端显示信息的方法流程图;
图10示出根据本申请一个实施例的一种基于穿戴眼镜的显示信息的系统方法图;
图11示出根据本申请一个实施例的一种基于穿戴眼镜的显示信息的头戴眼镜设备的设备示意图;
图12示出根据本申请一个实施例的一种基于穿戴眼镜的显示信息的手持设备的设备示意图;
图13示出根据本申请一个实施例的一种基于穿戴眼镜的显示信息的系统的设备示意图;
图14示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中,终端、服务网络的设备和可信方均包括一个或多个处理器(例如,中央处理器(Central Processing Unit,CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RandomAccess Memory,RAM)和/或非易失性内存等形式,如只读存储器(Read Only Memory,ROM)或闪存(Flash Memory)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(Phase-Change Memory,PCM)、可编程随机存取存储器(Programmable Random Access Memory,PRAM)、静态随机存取存储器(Static Random-Access Memory,SRAM)、动态随机存取存储器(Dynamic Random AccessMemory,DRAM)、其他类型的随机存取存储器(Random Access Memory,RAM)、只读存储器(Read-Only Memory,ROM)、电可擦除可编程只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、数字多功能光盘(Digital Versatile Disc,DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品,例如智能手机、平板电脑等,所述移动电子产品可以采用任意操作系统,如Android操作系统、iOS操作系统等。其中,所述网络设备包括一种能够按照事先设定或存储的指令,自动进行数值计算和信息处理的电子设备,其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit,ASIC)、可编程逻辑器件(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、数字信号处理器(Digital Signal Processor,DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云;在此,云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成,其中,云计算是分布式计算的一种,由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc Network)等。优选地,所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然,本领域技术人员应能理解上述设备仅为举例,其他现有的或今后可能出现的设备如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
在本申请的描述中,“多个”的含义是两个或者更多,除非另有明确具体的限定。
在该申请的一些实施例中,穿戴眼镜包括头戴眼镜设备,所述头戴眼镜设备包括镜架,以及装配于所述镜架的第二摄像装置和光学显示单元;与所述头戴眼镜设备存在通信连接的手持设备,所述手持设备包括第一摄像装置,以及与所述第一摄像装置电连接的增强现实装置,所述增强现实装置通过所述通信连接分别与所述第二摄像装置、所述光学显示单元进行通信;所述增强现实装置用于接收所述第一摄像装置拍摄的第一目标图像,确定关于所述第一目标图像的待呈现信息,并通过所述通信连接向所述光学显示单元发送所述待呈现信息;所述光学显示单元用于呈现所述待呈现信息。例如,所述镜架为主要的支撑结构,所述镜架的正前方是光学显示单元。其中,所述通信连接包括有线连接(例如,数据线)或者无线连接(例如,蓝牙、wifi、NFC以及zigbee等),头戴眼镜设备与手持设备通过有线或者无线进行连接。所述光学显示单元呈现的待呈现信息包括但不限于对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像信息以及由第一目标图像信息确定的对应的虚拟AR(Augmented Reality,增强现实)信息。
在此,所述增强现实装置确定所述第一目标图像的待呈现信息的方式包括但不限于:1)将所述第一目标图像信息直接作为对应的待呈现信息;2)基于该第一目标图像信息在本地的AR信息库中匹配查询,将查询所得的AR虚拟信息作为对应的待呈现信息;3)通过所述手持设备中与所述增强现实装置电连接的通信模块,将所述第一目标图像发送至云端的AR信息库进行匹配查询,将云端查询返回的AR虚拟信息作为对应的待呈现信息;4)通过所述手持设备中与所述增强现实装置电连接的通信模块,将所述第一目标图像或对所述第一目标图像的扫描结果发送至云端服务器,接收云端服务器所返回的对该第一目标图像或该扫描结果的处理结果,将该结果信息作为对应的待呈现信息。例如,用户使用手持设备的第一摄像装置拍摄或扫描“xx应用的登录二维码”图像,该手持设备中的增强现实装置通过与其电连接的通信模块将该图像的扫描结果发送至该应用的云端服务器,该云端服务器收到该扫描结果后将登录结果或登录页面返回至该增强现实装置,该增强现实装置将该登录结果或登录页面作为该图像对应的待呈现信息。在此,所述增强现实装置可使用高通等公司所推出的AR模块。
在一些实施例中,所述头戴眼镜设备还包括与所述增强现实装置通过所述通信连接进行通信的运动传感器单元,所述运动传感器单元用于采集所述头戴眼镜设备的运动信息,并通过所述通信连接将所述运动信息发送至所述增强现实装置。例如,所述运动传感器单元包括但不限于陀螺仪,加速度传感器。所述运动传感器单元可以采集头戴眼镜设备的位姿信息(例如,头戴眼镜设备在空间里的位置和姿态信息等)。
在一些实施例中,所述增强现实装置还用于通过所述通信连接接收所述第二摄像装置拍摄的第二目标图像,确定所述第二目标图像对应的虚拟AR信息,并通过所述通信连接将所述虚拟AR信息发送至所述光学显示单元;所述光学显示单元用于呈现所述虚拟AR信息。例如,头戴眼镜设备将第二摄像装置拍摄的第二目标图像通过有线或者无线方式发送至增强现实装置。在一些实施例中,所述手持设备还包括为所述第一摄像装置及所述增强现实装置供电的供电模块,所述供电模块还用于通过所述数据线向所述头戴眼镜设备供电。例如,所述数据线包括但不限于usb数据线或者充电线,供电模块包括但不限于电池装置或者可提供220V电压的交流电。供电模块可以与手持设备一体的,或者供电模块是可拆卸的。
图1为本申请一个实施例的穿戴眼镜的功能模块示意图,穿戴眼镜包括头戴眼镜设备以及手持设备,其中,头戴眼镜设备与手持设备通过有线或者无线方式进行连接。例如,头戴眼镜设备与手持设备通过数据线进行连接,手持设备中的供电模块为手持设备和与手持设备有线连接的头戴眼镜设备同时供电。头戴眼镜设备包括光学显示单元以及第二摄像装置;手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述第一摄像装置包括但不限于RGB摄像头、深度摄像头,该摄像头拍摄特殊角度的图像画面,例如用户持有手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的摄像头拍摄柜子底部的第一目标图像,并将拍摄到的第一目标图像传输至头戴眼镜设备,头戴眼镜设备接收该第一目标图像并将该图像信息呈现在光学显示单元上,此时用户可以通过头戴眼镜看到手持设备拍摄的画面。或者,所述手持设备中的第一摄像装置拍摄到前方的第一目标图像,其中,所述第一目标图像信息包括但不限于二维码以及条形码,例如,以二维码为例,第一摄像装置扫描到前方二维码,并将包含该二维码的图像信息传给增强现实装置,手持设备中的增强现实装置接收发送的二维码的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,可选地,随后头戴眼镜看到登录相关信息,例如登录结果或者登录成功后的内容,例如,用户需要观看某网站的视频,该视频网站为会员制,用户持有手持设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功并通过头戴眼镜设备观看网站视频。或者,手持设备中的第一摄像装置拍摄到前方的第一目标图像(例如,人物画像),并基于增强现实装置获取对应的虚拟AR信息(例如,人物视频简介、图片介绍等),并将该虚拟AR信息发送至头戴眼镜设备进行显示。或者,手持设备中的第一摄像装置拍摄到前方的第一目标图像(例如,模糊的图片),手持设备中的增强现实装置接收第一目标图像后上传到服务器和/或本地,在服务器和/或本地中确认对应的图片识别结果(例如,图片识别出的文字等),并将该图片识别结果发送至头戴眼镜设备进行显示。通过移动手持设备中的第一摄像装置,用户可以方便地获取所需的图像信息而无需将头戴眼镜设备移动至相应位置,因此该穿戴眼镜能够提升用户的使用体验;进一步地,手持设备可以克服用户头部尺寸的限制而接近头戴设备无法到达的位置,因此与一体式的头戴眼镜设备相比,该穿戴眼镜的适用范围也更为广泛。
在一些实施例中,所述光学显示单元的实现方式包括但不限于棱镜技术、自由曲面技术、波导技术、离轴光学技术等(例如,https://blog.csdn.net/xiangz_csdn/ article/details/61423134)。例如,该光学显示单元包括光学显示镜片、光机以及光学透镜模组,所述光机传输的信息通过所述光学透镜模组放大后显示于所述光学显示镜片。例如,所述光学透镜模组可当作一个目镜。根据要求不同(视场角,出瞳距,出瞳直径等),目镜中的镜片类型和数量会不同,可能是3个、5个或其它数量,可能有凸透镜、凹透镜、弯月镜等其它组合,根据光学显示单元不同的设计方案来调整一些参数,例如曲率半径、镜片之间距离、镜片厚度和镜片材质等。
在一些实施例中,所述头戴眼镜设备还包括电路装置,该电路装置用于实现该头戴眼镜设备中第二摄像装置、光学显示单元分别与所述通信连接的电连接。例如,该第二摄像装置所拍摄的图像信息先后经由该电路装置、该通信连接传输至对应的手持设备;再如,该手持设备通过所述通信连接发送的待呈现信息,经由该电路装置传输至该光学显示单元,并呈现于该光学显示单元。本领域技术人员应能理解,该电路装置结构包括所述通信连接分别与第二摄像装置、光学显示单元之间的电路连接,其中,所述电路连接可以是直连电路,也可以是包含电信号放大、整形或滤波子模块的电路连接。
在一些实施例中,所述增强现实装置包括无线通信模块,其中,所述无线通信模块用于将所述第一目标图像和/或所述第二摄像装置拍摄的第二目标图像发送至对应的服务器,并接收所述服务器返回的对应的虚拟AR信息。例如,摄像装置将图像信息传输给增强现实装置,增强现实装置通过无线通信模块在服务器端查找匹配的虚拟AR信息,并发送给头戴眼镜设备。其中,无线通信模块包括但不限于WiFi和蓝牙等。
在一些实施例中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围。其中,受阻视场范围包括物理受阻及视线(视野)受阻。例如,物理受阻包括第二摄像装置被物理遮挡以至于不能够拍摄到目标图像的情况,视线(视野)受阻包括第二摄像装置的视场角(FOV)相较于第一摄像装置的视场角(FOV)所不能覆盖的范围。因此,手持设备中的第一摄像装置可以拍摄到头戴眼镜设备中的第二摄像装置视野不能拍到的目标图像,第一摄像装置与第二摄像装置合作拍摄提升了拍摄效率,也使得被拍摄的内容更全面。
在一些实施例中,所述通信连接为无线连接;所述头戴眼镜设备还包括装配于所述镜架的第二通信模块,所述第二通信模块分别与所述第二摄像装置、所述光学显示单元电连接;所述手持设备还包括与所述增强现实装置电连接的第一通信模块;所述第一通信模块与所述第二通信模块用于建立所述通信连接。例如,所述无线连接包括但不限于wifi、蓝牙、NFC以及zigbee等。所述第一通信模块以及所述第二通信模块包含提供无线连接的通信部件。
图2为本申请的穿戴眼镜的一个示意图,穿戴眼镜包括头戴眼镜设备以及手持设备,其中,头戴眼镜设备与手持设备通过无线方式进行连接。例如,手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述增强现实装置包括无线通信模块,其中,无线通信模块包括但不限于WiFi和蓝牙等,手持设备包括供电模块和第一摄像装置,所述第一摄像装置包括但不限于RGB摄像头、深度摄像头,该摄像头拍摄用户前方的实时画面,并将拍摄到的第一目标图像传输至增强现实装置;手持设备中的增强现实装置接收第一目标图像,通过WiFi在服务器中确定对应的虚拟AR信息,或者在本地存储器中确定对应的虚拟AR信息,手持设备将虚拟AR信息通过无线连接发送至头戴眼镜设备的电路装置中,电路装置中的转换处理单元将接收到的虚拟AR信息转换成光学显示单元可以接受的格式,并呈现在光学显示单元上。
在一些实施例中,所述通信连接通过所述头戴眼镜设备与所述手持设备间的数据线实现;所述数据线与所述第二摄像装置通过直连或接口模块实现电连接,所述数据线与所述光学显示单元通过直连或接口模块实现电连接。例如,数据线包括usb数据线,头戴眼镜设备与所述手持设备可以通过usb数据线直接传输数据,或者,所述接口模块包括usb接口模块,头戴眼镜设备与所述手持设备可以通过数据线接入接口模块进行通信连接。
在一些实施例中,所述数据线与所述增强现实装置直连。例如,所述头戴眼镜设备通过数据线与增强现实装置直接连接后,将第二目标图像发送至增强现实装置。
图3为本申请的穿戴眼镜的另一个示意图,头戴眼镜设备与手持设备通过数据线进行连接。头戴眼镜设备包括第二摄像与光学显示单元;手持设备包括第一摄像装置以及与所述摄像装置电连接的增强现实装置,所述第一摄像装置或者第二摄像装置包括但不限于RGB摄像头、深度摄像头,第一摄像装置的摄像头拍摄头戴眼镜设备中第二摄像装置不易拍摄的特殊角度,并将拍摄到的待呈现信息传输至头戴眼镜设备,所述待呈现信息被呈现在头戴眼镜设备的光学显示单元上。所述增强现实装置还用于通过所述通信连接接收所述第二摄像装置拍摄的第二目标图像,确定所述第二目标图像对应的虚拟AR信息,并通过所述通信连接将所述虚拟AR信息发送至所述头戴眼镜设备,所述虚拟AR信息被呈现在头戴眼镜设备的光学显示单元上。
在一些实施例中,所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧。例如,其中遮光层可以是一个或多个遮光镜片,该遮光层以卡扣、套筒、螺纹紧固件等一种或多种方式固定在头戴眼镜设备上,跟光学显示单元一个或多个表面接触或分离。又例如,所述遮光单元分别套在所述光学显示单元的外侧,并固定在所述头戴眼镜设备的镜架上。又例如,其中遮光层可以是以一种或多种方式覆盖或镀在遮光单元一个或多个表面上的一层或多层薄膜。又例如,遮光层可以是以一种或多种方式覆盖或镀在光学显示单元一个或多个表面上的一层或多层薄膜。再例如,其中遮光层可以是镜片上的遮光材料,该遮光层覆膜或者镀膜形式设置于镜片上,该镜片以卡扣、套筒、螺纹紧固件等一种或多种方式固定头戴眼镜设备上,跟光学显示单元一个或多个表面接触或者分离。在一些实施例中,所述遮光单元包括侧壁,该侧壁限定一空腔,所述空腔用于容纳所述光学显示单元,以保护所述光学显示单元;在一些优选实施例中,所述遮光单元还包括一底部,该底部与所述侧壁共同限定所述空腔,从而使得所述遮光单元将所述光学显示单元容纳在其内部,为光学显示单元提供保护;在一些实施例中,所述遮光单元的侧面、底面由平面或曲面连接构成。另外,在上述侧壁中,所述遮光层设置于相对于用户的远端。可选地,为了避免遮罩显示单元所显示的内容而影响用户观察该内容,相对于用户而言,所述遮光单元的近端的遮光度低于其远端的遮光度,例如所述遮光单元的近端是透明的,从而遮光层既可避免外部射入的杂光对用户造成干扰,又不会影响用户正常观察显示单元所显示的内容。或者,所述遮光单元整体固定在所述头戴眼镜设备的镜架上。该遮光单元一方面能够保护光学显示单元(防尘、防水、防摔),另一方面还能遮蔽外界光线而提高显示效果。
在一些实施例中,所述头戴眼镜设备还可包括处理器、存储器、电池或者用于为头戴眼镜设备接入电源的接口(充电口),这些元件可与电路装置电连接,也可以安装在电路装置上。此时,头戴眼镜设备已经具备了一体式头戴式显示设备的元件,可独立使用。
图4为本申请的穿戴眼镜的一个实施例的内部电连接示意图。其中,第二摄像装置拍摄用户前方的实时画面,并将拍摄到的第二目标图像通过数据线传输至手持设备;手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,手持设备中的增强现实装置接收头戴眼镜设备发送的第二目标图像,并在本地存储器中确定对应的虚拟AR信息,手持设备将虚拟AR信息通过数据线发送至头戴眼镜设备的电路装置中,电路装置中的转换处理单元将接收到的虚拟AR信息转换成光学显示单元可以接受的格式,并呈现在光学显示单元上。或者,所述手持设备中的增强现实装置接收头戴眼镜设备发送的第二目标图像并在服务器中确认对应的虚拟AR信息,手持设备将虚拟AR信息通过数据线发送至头戴眼镜设备的电路装置中,电路装置中的转换处理单元将接收到的虚拟AR信息转换成光学显示单元可以接受的格式,并呈现在光学显示单元上。
图5为本申请一个实施例的穿戴眼镜的头戴眼镜设备的一个示意图。头戴眼镜设备包括主体上盖6、电路板7、镜架主体8、光学显示单元9、遮光单元10、鼻托11、第二摄像装置12、镜腿13、播放器(未示出)。其中,所述播放器中可以采用ES9018S芯片,播放器安装在电路板上,或与电路板电连接,用于播放手持设备传递的虚拟AR信息中的音频信息,或播放其它音频信息;两侧的镜腿13分别通过转轴与镜架主体8连接,两侧的镜腿13可折叠,为了增加柔韧度,两侧镜腿可使用钛合金、铝合金等材质,例如,为了增加佩戴的牢固性,头戴眼镜设备中两个镜腿13之间可以加入固定单元,通过可伸缩结构来调整固定单元的大小,以适应不同大小的头围;第二摄像装置12安装在镜架主体8的中间位置,与电路板7电连接,用于拍摄用户前方的实时画面;鼻托11安装于镜架主体8上,位于两个光学显示单元9的中间位置,用于固定头戴部分,鼻托11可以固定于主体8上,也可以相对于主体8可拆卸;遮光单元10可以是一体式,也可以是分体式,具有遮光的功效;光学显示单元9是指光学显示模组,该头戴眼镜设备具有两个显示单元,对称设置于镜架主体左前方和右前方,并分别与电路装置7相连,进行数据传输;电路板7设置于镜架主体8与主体上盖6之间的空腔内。
在一些实施例中,穿戴眼镜包括:头戴眼镜设备,所述头戴眼镜设备包括镜架,以及装配于所述镜架的第二摄像装置和光学显示单元;与所述头戴眼镜设备存在通信连接的手持设备,所述手持设备包括第一摄像装置,还包括与所述第一摄像装置电连接的增强现实装置;所述增强现实装置用于接收所述第一摄像装置拍摄的第一目标图像,并确定关于所述第一目标图像的关联信息。其中,所述关联信息包括但不限于对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像信息以及由第一目标图像信息确定的对应的虚拟AR信息。例如,手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述第一摄像装置包括但不限于RGB摄像头、深度摄像头,该摄像头拍摄特殊角度的图像画面,例如用户持有手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的摄像头拍摄柜子底部的第一目标图像(例如,一个开关),并由增强现实装置确定对应的与第一目标图像关联信息,获得的关联信息可供后续选择用途(例如,用于本地存储、发送至头戴眼镜设备或者发送至对应的网络设备等)。
在一些实施例中,穿戴眼镜包括遮光单元和光学显示单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述穿戴眼镜上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧,在一些实施例中,所述遮光单元包括侧壁,该侧壁限定一空腔,所述空腔用于容纳所述光学显示单元,以保护所述光学显示单元;在一些优选实施例中,所述遮光单元还包括一底部,该底部与所述侧壁共同限定所述空腔,从而使所述遮光单元将所述光学显示单元容纳在其内部,为光学显示单元提供保护;在一些实施例中,所述遮光单元的侧面、底面由平面或曲面连接构成。另外,在上述侧壁中,所述遮光层设置于相对于用户的远端。为了避免遮罩显示单元所显示的内容而影响用户观察该内容,相对于用户而言,所述遮光单元的近端的遮光度低于其远端的遮光度,例如所述遮光单元的近端是透明的,从而遮光层既可避免外部射入的杂光对用户造成干扰,又不会影响用户正常观察显示单元所显示的内容。
在一些实施例中,所述遮光单元包括侧壁,所述侧壁限定一空腔,所述空腔用于容纳所述光学显示单元。其中,空腔可以由一个及一个以上的面围成,空腔容纳光学显示单元。如果是一个面,该面应该安装在光学显示单元背离用户的一侧。从而使所述遮光单元将所述光学显示单元容纳在其内部,为光学显示单元提供保护。
在一些实施例中,所述遮光层一体地设置于所述侧壁。所述侧壁用于限定空腔。
在一些实施例中,所述遮光单元还包括底部,所述遮光单元将所述光学显示单元封闭在所述遮光单元的内部。例如,该侧壁限定一空腔,所述空腔用于容纳所述光学显示单元,以保护所述光学显示单元。
在一些实施例中,所述遮光层为设置于所述遮光单元上的覆膜或镀膜。例如,遮光层可以是以一种或多种方式覆盖或镀在遮光单元一个或多个表面上的一层或多层薄膜。
在一些实施例中,所述遮光层为设置于所述光学显示单元上的覆膜或镀膜。例如,遮光层可以是以一种或多种方式覆盖或镀在光学显示单元一个或多个表面上的一层或多层薄膜。
在一些实施例中,所述穿戴眼镜包括头戴眼镜设备及与所述头戴眼镜设备存在通信连接的手持设备,所述光学显示单元和所述遮光单元设置于所述头戴眼镜设备上。例如,所述遮光单元设置于头戴眼镜设备的镜架上。
具体地,如图5,遮光单元10为分体式,例如,该遮光单元具有5个面,以图5示出的方位为例,这5个面分别为前后、左右侧面和底面,例如,该遮光单元是5面体,其中四个面的材质和最外侧的遮光层的材质不一样,该种5面体可以一次注塑完成。也可以将4个面一次注塑完成,最外侧的遮光层再拼接/粘合上去。遮光单元10分别套在两个光学显示单元9外,固定安装于镜架主体8上。一方面是保护光学显示单元9,起到防尘、防水、防摔的效果。另一方面,具有遮光的功效,在最外侧的一面镜片采用可变色的墨镜材质,例如,感光镜片(可以是玻璃镜片、树脂镜片等),这种镜片在室外(或阳光下)光线强烈照射时,镜片颜色会变深,可以保护眼镜免受强光刺激;进入室内,光线减弱,镜片颜色变浅,保证了对景物的正常观察。在外界光线较强时,遮光单元10自动调整镜片的遮光度,遮挡外部光线,使得人眼可以看到光学显示单元9的内容。也可以使用固定遮光度的镜片材质,不变色。例如,遮光单元可以仅是2个镜片,分别在两个光学显示单元9的最外侧,固定于镜架主体8上,可以是感光镜片,或者可以使用固定遮光度的镜片材质,此时只具有遮光的效果,不具有保护光学显示单元9的作用。例如,遮光单元可以仅是覆盖或镀在光学显示镜片上的(遮光)膜,具有遮光的效果。
具体地,如图6,遮光单元10为一体式,例如,遮光单元10整体固定于镜架主体8上,可采用变色或不变色的材质,例如,可以是感光镜片,或者可以使用固定遮光度的镜片材质。
在一些实施例中,所述手持设备还包括所述手持设备的壳体以及安装于所述壳体上的按键单元和/或触摸板。其中,按键单元包括但不限于电源按键、音量按键、快捷按键等;所述按键单元和/或触摸板用于进行相关的控制操作或交互操作。
在一些实施例中,所述手持设备的壳体包括定位部件,所述定位部件用于定位所述壳体中触摸板的空间位置。例如,定位部件可以是触摸板周边安装的三个不共线的LED(例如排列成三角形),LED可以以不同颜色点亮,例如红绿蓝。又例如,定位部件可以是围绕触摸板的某种图案的贴条。
图7为本申请的穿戴眼镜的手持设备的一个示意图。手持设备包括壳体、触摸板1、增强现实装置2、摄像装置(未示出)、电池4、充电口(未示出)。其中,壳体上可以选择性的包括电源按键、音量按键,快捷按键等按键单元。壳体包括触摸板1,中盖3和后盖5,增强现实装置2设置于触摸板1和中盖3固定围成的空腔内,不可拆卸。后盖5可拆卸,电池4放置于后盖5和中盖3之间的空腔内,电池4与电路板连接,用于给整个手持设备和/或头戴眼镜设备供电,电池可拆卸,方便更换电池。当头戴眼镜设备和手持设备以有线方式连接时,电池可以给两者供电。当两者以无线方式连接时,电池4只能给手持设备供电,此时的头戴眼镜设备中存在电池元件或充电口。增强现实装置2中包含电路板,其中电路板可以选择性的包括处理器、存储器、通讯单元(SIM卡,供头戴眼镜设备上网、打电话)、SD卡、播放器、麦克风等单元。
图8示出了根据本申请的一个方面一种在头戴眼镜设备端显示信息的方法,所述头戴眼镜设备与至少一手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元,该方法包括步骤S11和步骤S12,在步骤S11中,头戴眼镜设备基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的;在步骤S12中,头戴眼镜设备在所述显示单元上叠加呈现所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。
具体而言,在步骤S11中,头戴眼镜设备基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的。例如,通信连接包括有线或者无线连接,手持设备通过手持设备上的第一摄像装置拍摄当前第一目标图像,并将所述第一目标图像传输至手持设备中的增强现实装置,增强现实装置基于该第一目标图像信息生成对应的待呈现信息,其中,所述待呈现信息包括但不限于对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像信息以及由第一目标图像信息确定的对应的虚拟AR信息。随后,手持设备将所述待呈现信息通过有线或者无线连接的方式传输至头戴眼镜设备,头戴眼镜设备显示带信息的图像。
在步骤S12中,头戴眼镜设备在所述光学显示单元上叠加呈现所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。头戴眼镜设备接收到所述手持设备传输的关于第一目标图像的待呈现信息,其中,所述待呈现信息包括但不限于对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像信息以及由第一目标图像信息确定的对应的虚拟AR信息。例如,所述操作执行结果信息包括但不限于图像缩放、裁剪、调整亮度、对二维码、条形码进行扫码登录或者人脸识别、字符识别、物体识别的结果。头戴眼镜设备与手持设备分别设有拍摄功能的装置,用户通过手持设备上的第一摄像装置拍摄头戴眼镜设备上的第二摄像装置不方便拍摄到的实时图像,提升了用户的体验。
例如,用户头部穿戴头戴眼镜设备,并持有一手持设备,其中手持设备与头戴眼镜设备通过有线进行连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述第一摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头拍摄特殊角度的图像画面,例如,用户手持手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的摄像头拍摄柜子底部的图像信息,并将拍摄到的图像信息传输至头戴眼镜设备,头戴眼镜设备接收该图像信息并将该图像信息呈现在光学显示单元上,此时用户可以通过头戴眼镜看到手持设备拍摄的画面。或者,所述手持设备中的摄像装置扫描到前方二维码,并将包含该二维码的图像信息传给增强现实装置,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,可选地,随后头戴眼镜看到登录相关信息,例如登录结果或者登录成功后的内容,例如,用户需要观看某网站的视频,该视频网站为会员制,用户持有手持设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功并通过头戴眼镜设备观看网站视频。或者,手持设备中的第一摄像装置拍摄到前方的第一目标图像(例如,人物画像),并基于增强现实装置获取对应的虚拟AR信息(例如,人物视频简介、图片介绍等),并将该虚拟AR信息发送至头戴眼镜设备进行显示。或者,手持设备中的第一摄像装置拍摄到前方的第一目标图像(例如,模糊的图片),手持设备中的增强现实装置接收第一目标图像后上传到服务器和/或本地,在服务器和/或本地中确认对应的图片识别结果(例如,图片识别出的文字等),并将该图片识别结果发送至头戴眼镜设备进行显示。通过移动手持设备中的第一摄像装置,用户可以方便地获取所需的图像信息而无需将头戴眼镜设备移动至相应位置,因此该穿戴眼镜能够提升用户的使用体验;进一步地,手持设备可以克服用户头部尺寸的限制而接近头戴设备无法到达的位置,因此与一体式的头戴眼镜设备相比,该穿戴眼镜的适用范围也更为广泛。
在一些实施例中,在步骤S12中,头戴眼镜设备在所述光学显示单元的图像呈现区域内的预设区域呈现所述待呈现信息。例如,所述预设区域包括预设一个固定/非固定的区域来显示所述待呈现信息(例如“小窗”显示)。头戴眼镜设备接收到所述手持设备传输的关于第一目标图像的待呈现信息,并将该待呈现信息呈现在头戴眼镜设备预设的区域内。通过预设区域显示待呈现信息,增加了头戴眼镜设备屏幕的利用率,同时以小窗形式呈现,使得展现信息形式丰富多样,更重要的是避免待呈现信息遮挡用户视线。
例如,用户手持手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的第一摄像装置拍摄柜子底部的图像信息,并将拍摄到的图像信息传输至头戴眼镜设备,头戴眼镜设备接收该图像信息并将该图像信息发送至光学显示单元,其中,该图像信息在头戴眼镜设备的光学显示单元中预设显示区域(例如,左镜片上的左上角的区域,其中,该区域占左镜片面积的四分之一)呈现。
在一些实施例中,所述方法还包括步骤S13(未示出),在步骤S13中,头戴眼镜设备通过所述光学显示单元,呈现所述第二摄像装置所拍摄的第二目标图像,对所述第二目标图像的图像操作的操作执行结果信息,以及关于所述第二目标图像的虚拟AR信息中的至少一个。例如,头戴眼镜设备包括第二摄像装置和光学显示单元,第二摄像装置拍摄当前的第二目标图像,并通过有线或者无线通信将所述第二目标图像发送给手持设备,所述手持设备中的增强现实装置接收该第二目标图像并返回对应的待呈现信息,其中,所述待呈现信息包括所述第二摄像装置所拍摄的第二目标图像,对所述第二目标图像的图像操作的操作执行结果信息,以及关于所述第二目标图像的虚拟AR信息。手持设备将对应第二目标图像的待呈现信息返回至头戴眼镜设备,并呈现在光学显示单元上。通过将穿戴眼镜的头戴眼镜设备与手持设备物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。
在一些实施例中,所述方法还包括步骤S14(未示出),在步骤S14中,头戴眼镜设备基于所述通信连接,将所述第二目标图像发送至所述手持设备,并接收所述手持设备所返回的第二目标图像,对所述第二目标图像的图像操作的操作执行结果信息,以及关于所述第二目标图像的虚拟AR信息中的至少一个。例如,头戴眼镜设备包括第二摄像装置和光学显示单元,第二摄像装置拍摄当前的第二目标图像,并通过有线或者无线通信将所述第二目标图像发送给手持设备,所述手持设备中的增强现实装置接收该第二目标图像并返回对应的待呈现信息。例如,所述待呈现信息包括第二目标图像信息,或者,第二目标图像信息的操作执行结果信息(例如,图像缩放、裁剪、调整亮度、对二维码、条形码进行扫码登录或者人脸识别、字符识别、物体识别的结果),或者与第二目标图像信息对应的虚拟AR信息。通过将穿戴眼镜的头戴眼镜设备与手持设备物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。
例如,用户头部穿戴头戴眼镜设备,并持有一手持设备,其中手持设备与头戴眼镜设备有线连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括增强现实装置;所述头戴眼镜设备包括第二摄像装置和光学显示单元,所述第二摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头拍摄当前图像画面,例如,用户头部穿戴头戴眼镜设备,用摄像头拍摄前方海报上的图像信息,并将拍摄到的图像信息传输至手持设备,手持设备接收该图形信息并传给增强现实装置,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,例如,该海报上存在某视频网站的二维码信息,该视频网站为会员制,用户头部穿戴头戴眼镜设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功;或者,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认与该海报上任务信息对应的虚拟AR信息(例如,人物视频简介、图片介绍等);或者,增强现实装置接收该图像信息,随后,手持设备中的增强现实装置将该图像信息发送至头戴眼镜设备,或者,增强现实装置接收该图像信息并进行相关操作(如裁剪等),随后,手持设备中的增强现实装置将操作后的图像信息发送至头戴眼镜设备,头戴眼镜设备接收该信息并呈现在光学显示单元(例如,预设区域)上。
在一些实施例中,在步骤S12中,头戴眼镜设备基于所述待呈现信息在所述光学显示单元上的呈现属性,在所述光学显示单元上叠加呈现所述待呈现信息。例如,所述呈现属性包括所述待呈现信息的呈现位置、大小、亮度以及时间等。所述待呈现信息以虚拟AR信息为例,其中,头戴眼镜设备可以显示手持设备拍摄的图像,以及对应叠加的虚拟AR信息,也可以仅叠加对应的虚拟AR信息,以防止图像遮挡用户视线。例如,手持设备拍摄第一目标图像,确定第一目标图像对应的虚拟AR信息以及虚拟AR信息在光学显示单元中的位置,然后将图像和虚拟AR信息显示在头戴眼镜光学显示单元中;又或者,手持设备拍摄目标图像,确定图像对应的虚拟AR信息以及虚拟AR信息在光学显示单元中的位置,然后头戴眼镜设备的光学显示单元叠加显示该虚拟AR信息。例如,以人脸识别为例,手持设备以接近用户第一视角的方式拍摄用户眼前的两个人的图像,利用人脸识别方法确定对应的虚拟AR信息(例如,姓名、年龄等介绍),以及虚拟AR信息在光学显示单元中的位置和大小,然后光学显示单元在相应位置(例如人头部附近)叠加显示该虚拟AR信息,可选地,该虚拟AR信息也可以叠加显示在光学显示单元的预设区域。
在一些实施例中,所述待呈现信息包括关于所述第一目标图像的虚拟AR信息;在步骤S12中,头戴眼镜设备基于关于所述第一目标图像的虚拟AR信息在所述光学显示单元上的呈现属性,在所述光学显示单元上叠加呈现所述待呈现信息;所述方法还包括步骤S15(未示出),在步骤S15中,头戴眼镜设备基于关于所述第一目标图像的虚拟AR信息的更新后的呈现属性,更新叠加呈现的所述虚拟AR信息。例如,所述虚拟AR信息包括但不限于对应第一目标图像确定的视频、图片、3D模型以及文字信息。例如,所述呈现属性包括但不限于所述虚拟AR信息的呈现位置、大小、亮度以及时间等。其中,头戴眼镜设备可以显示手持设备拍摄的图像,以及对应叠加的虚拟AR信息,也可以仅叠加对应的虚拟AR信息,以防止图像遮挡用户视线。例如,手持设备拍摄目标图像,确定图像对应的虚拟AR信息以及虚拟AR信息在光学显示单元中的位置,然后头戴眼镜设备的光学显示单元叠加显示该虚拟AR信息。例如,以人脸识别为例,手持设备以接近用户第一视角的方式拍摄用户眼前的两个人的图像,利用人脸识别方法确定对应的虚拟AR信息(例如,姓名、年龄等介绍),以及虚拟AR信息在光学显示单元中的位置和大小,然后光学显示单元在相应位置(例如人头部附近)叠加显示该虚拟AR信息,可选地,该虚拟AR信息也可以叠加显示在光学显示单元的预设区域。当关于所述第一目标图像的虚拟AR信息更新后的位置和大小等发生改变后,将更新后的虚拟AR信息发送给头戴眼镜设备,使其叠加在更新后的位置上。
在一些实施例中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围。其中,受阻视场范围包括物理受阻及视线(视野)受阻。例如,物理受阻包括第二摄像装置被物理遮挡以至于不能够拍摄到目标图像的情况,视线(视野)受阻包括第二摄像装置的视场角(FOV)相较于第一摄像装置的视场角(FOV)所不能覆盖的范围。因此,手持设备中的第一摄像装置可以拍摄到头戴眼镜设备中的第二摄像装置视野不能拍到的目标图像,第一摄像装置与第二摄像装置合作拍摄提升了拍摄效率,也使得被拍摄的内容更全面。
图9示出了根据本申请的一个方面一种在手持设备端用于向头戴眼镜设备提供待呈现信息的方法,所述头戴眼镜设备与所述手持设备通过一通信连接通信,所述手持设备包括第一摄像装置;其中,所述方法包括步骤S21、步骤S22和步骤S23。在步骤S21中,手持设备通过所述第一摄像装置拍摄第一目标图像;在步骤S22中,手持设备基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;在步骤S23中,手持设备基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。
具体地,在步骤S21中,手持设备通过所述第一摄像装置拍摄第一目标图像。例如,手持设备中的第一摄像装置拍摄当前图像获取第一目标图像。
在步骤S22中,手持设备基于所述第一目标图像确定关于所述第一目标图像的待呈现信息。其中所述待呈现信息包括对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像以及关于所述第一目标图像的虚拟AR信息。手持设备获取第一目标图像,并将第一目标图像发送至增强现实装置中确认对应的待呈现信息。
在步骤S23中,手持设备基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。例如,手持设备与头戴眼镜设备通过通信连接,手持设备获取第一目标图像,并将第一目标图像发送至增强现实装置中确认对应的待呈现信息,并将待呈现信息发送至头戴眼镜设备中。
例如,用户头部穿戴头戴眼镜设备,手中持有一手持设备,其中手持设备与头戴眼镜设备通过有线进行连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头可用于拍摄特殊角度的图像画面。例如,用户持有手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的摄像头拍摄柜子底部的图像信息,并将拍摄到的图像信息传输至头戴眼镜设备;或者,用户通过第一摄像装置拍摄到柜子底部图像信息中的二维码信息,手持设备中的增强现实装置接收该二维码信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,并将登陆结果发送至头戴眼镜设备;或者,手持设备中的增强现实装置接收柜子底部的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的该图像信息的虚拟AR信息(例如,柜子底部贴纸上人物的生平简介视频),并将虚拟AR信息发送至头戴眼镜设备。
在实际使用场景中,所述手持设备可以手持使用;也可以放置于某一物理区域,而且,该手持设备在该物理区域中处于静止状态或移动状态,例如该手持设备可作为内置或外接的硬件模块而安装于其他装置或设备上。
在一些实施例中,在步骤S22中,手持设备对所述第一目标图像进行图像操作,并根据所述图像操作的操作结果确定关于所述第一目标图像的待呈现信息。例如,图像操作包括但不限于图像处理、图像识别、图像匹配、目标检测、识别、跟踪等计算机视觉处理操作。手持设备将第一目标图像发送至增强现实装置,增强现实装置接收该第一目标图像后上传到服务器和/或本地,在服务器和/或本地中确定对应的待呈现信息,如图像裁剪结果、二维码、车牌或人脸识别结果等。
在一些实施例中,所述方法还包括步骤S24(未示出),在步骤S24中,手持设备基于所述通信连接,接收所述头戴眼镜设备所发送的第二目标图像,并向所述头戴眼镜设备返回关于所述第二目标图像的虚拟AR信息、第二目标图像,以及对所述第二目标图像的图像操作的操作执行结果信息中的至少一个。例如,头戴眼镜设备包括第二摄像装置和光学显示单元,第二摄像装置拍摄当前的第二目标图像,并通过有线或者无线通信将所述第二目标图像发送给手持设备,所述手持设备中的增强现实装置接收该第二目标图像并返回对应的待呈现信息。例如,所述待呈现信息包括第二目标图像信息,或者,第二目标图像信息的操作执行结果信息(例如,图像缩放、裁剪、调整亮度、对二维码、条形码进行扫码登录或者人脸识别、字符识别、物体识别的结果),或者与第二目标图像信息对应的虚拟AR信息。通过将穿戴眼镜的头戴眼镜设备与手持设备物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。
例如,用户头部穿戴头戴眼镜设备,并持有一手持设备,其中手持设备与头戴眼镜设备通过有线进行连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括增强现实装置;所述头戴眼镜设备包括第二摄像装置和光学显示单元,所述第二摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头拍摄当前图像画面,例如,用户头部穿戴头戴眼镜设备,用摄像头拍摄前方海报上的图像信息,并将拍摄到的图像信息传输至手持设备,手持设备接收该图形信息并传给增强现实装置,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,例如,该海报上存在某视频网站的二维码信息,该视频网站为会员制,用户头部穿戴头戴眼镜设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功;或者,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认与该海报上任务信息对应的虚拟AR信息(例如,人物视频简介、图片介绍等);或者,增强现实装置接收该图像信息并确认该图像信息。
在一些实施例中,在步骤S22中,手持设备基于所述第一目标图像以及所述头戴眼镜设备的位姿信息,确定关于所述第一目标图像的待呈现信息,以及所述待呈现信息在所述头戴眼镜设备的光学显示单元上的呈现属性;在步骤S23中,手持设备基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息以及所述呈现属性。
例如,手持设备通过第一摄像装置拍摄目标物体,获得相应的第一目标图像。随后,手持设备根据该第一目标图像以及头戴眼镜设备的位姿信息确定相应的待呈现信息。以待呈现信息为由头戴眼镜设备叠加呈现的预置的三维模型为例,手持设备基于指定的空间坐标系(或称为世界坐标系)确定该三维模型在空间中的位置和姿态;另一方面,头戴眼镜设备亦校准至该世界坐标系,手持设备基于设置在头戴眼镜设备上的传感器(例如陀螺仪、加速度传感器等)获取头戴眼镜设备在该世界坐标系中的位姿。此时,由于上述三维模型和头戴眼镜设备在上述世界坐标系中的位姿均已确定,则上述三维模型相对于头戴眼镜设备的位姿亦已确定(例如基于二者在世界坐标系中的位置、姿态计算上述三维模型相对于头戴眼镜设备的相对位置、姿态);从而,上述三维模型在头戴眼镜设备上的呈现方式亦可确定,例如基于上述相对位置、姿态和透视关系,确定与上述三维模型相应的图形(例如上述三维模型基于上述相对位置、姿态和透视关系的投影)作为关于所述第一目标图像的虚拟AR信息(待呈现信息);同时,该图形(待呈现信息)的大小、呈现位置等呈现属性(例如位置、大小、拉伸变形等),也随之确定。
在一些实施例中,所述待呈现信息包括关于所述第一目标图像的虚拟AR信息;在步骤S22中,手持设备基于关于所述第一目标图像的待呈现信息,以及所述头戴眼镜设备的位姿信息,确定所述待呈现信息的呈现属性;所述方法还包括步骤S25(未示出),在步骤S25中,手持设备基于所述头戴眼镜设备的更新后的位姿信息,更新所述待呈现信息的呈现属性;在步骤S23中,手持设备向所述头戴眼镜设备发送所述待呈现信息的更新后的呈现属性。例如,以待呈现信息为由头戴眼镜设备叠加呈现的预置的三维模型为例,手持设备基于指定的空间坐标系(或称为世界坐标系)确定该三维模型在空间中的位置和姿态;另一方面,头戴眼镜设备亦校准至该世界坐标系,手持设备基于设置在头戴眼镜设备上的传感器(例如陀螺仪、加速度传感器等)获取头戴眼镜设备在该世界坐标系中的位姿。此时,由于上述三维模型和头戴眼镜设备在上述世界坐标系中的位姿均已确定,则上述三维模型相对于头戴眼镜设备的位姿亦已确定(例如基于二者在世界坐标系中的位置、姿态计算上述三维模型相对于头戴眼镜设备的相对位置、姿态);从而,上述三维模型在头戴眼镜设备上的呈现方式亦可确定,例如基于上述相对位置、姿态和透视关系,确定与上述三维模型相应的图形(例如上述三维模型基于上述相对位置、姿态和透视关系的投影)作为关于所述第一目标图像的虚拟AR信息(待呈现信息);同时,该图形(待呈现信息)的大小、呈现位置等呈现属性(例如位置、大小、拉伸变形等),也随之确定。当头戴眼镜设备相对目标物体的空间位置和姿态发生改变后,待呈现信息对应的呈现属性也相应改变。将更新后的呈现属性发送给头戴眼镜设备,使其更新待呈现信息的显示属性,使其叠加在正确位置。
在一些实施例中,所述手持设备被配置为相对于地面可移动。例如,所述手持设备包括但不限于手机、平板电脑、笔记本电脑、专用硬件、机器人(例如,扫地机器人)等计算设备。所述移动包括主动移动(例如通过滚轮,也不仅限于在地面上移动)和被动移动(例如用户搬动)。
在一些实施例中,所述手持设备包括用于移动所述手持设备的推进装置,在步骤S22中,当所述手持设备的空间运动状态满足预设运动状态条件时,手持设备基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;其中,所述预设运动状态条件包括以下至少任一项:所述手持设备的移动速度小于预设速度阈值;所述手持设备移动至预设空间位置。例如,所述推进装置包括但不限于步进电机以及滚轴。例如,当手持设备的空间运动状态处于静止或者小于预设速度阈值时,手持设备的第一摄像装置进行拍摄当前第一目标图像的操作,在这一运动状态下,第一摄像装置拍摄到的第一目标图像更清晰,为后续增强现实装置确定对应的待呈现信息提供了良好的图像信息,随后手持设备并将该第一目标图像传输至增强现实装置,用于确定关于所述第一目标图像的待呈现信息。或者,所述预设空间位置可以是预先给定的一个真实的空间位置,也可以是包括具有预设标记物的空间,当手持设备的第一摄像装置拍摄到包括预设标记物的第一目标图像,则认为手持设备到达了预设空间位置,也可以是包括具有预设标记物的空间,其中预设标记物包含位置等信息,当手持设备的第一摄像装置拍摄到包括预设标记物的第一目标图像,识别该预设标记物后得到对应的位置;或者手持设备获取拍摄到的第一目标图像后,对拍摄到的第一目标图像进行识别(例如,推算测距法,http://www.xjishu.com/zhuanli/52/03104283.html),识别出在手持设备当前所处的位置,手持设备根据当前位置进行路径规划,确定前往预设空间位置的行驶方向与行驶速度。当手持设备到达目的预设空间位置后,手持设备拍摄当前第一目标图像,并将该第一目标图像传输至增强现实装置,用于确定关于所述第一目标图像的待呈现信息;或者,手持设备本身的定位装置检测到手持设备正处于预设空间位置时,手持设备拍摄当前第一目标图像,并将该第一目标图像传输至增强现实装置,用于确定关于所述第一目标图像的待呈现信息。
例如,此处的手持设备以扫地机器人为例,该扫地机器人底部具有用于驱动扫地机器人在地面上移动的驱动轮,当该扫地机器人静止时或者运行速度小于预设速度,扫地机器人中的第一摄像装置拍摄当前的第一目标图像(例如,柜子底部的图像信息),并由增强现实装置根据柜子底部的图像信息确定对应的登陆操作信息。或者,当扫地机器人中根据自身的定位装置到达预设空间位置时,通过第一摄像装置拍摄当前的第一目标图像,随后由增强现实装置根据该图像信息确定对应的登陆操作信息。
在一些实施例中,在步骤S23中,当关于所述待呈现信息的发送配置信息被配置为发送时,手持设备基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息。其中,所述发送配置信息包括发送以及不发送。例如,手持设备获取第一目标图像,并将第一目标图像发送至增强现实装置中确认对应的待呈现信息,在发送配置信息被配置为不发送时,手持设备不将待呈现信息发送给头戴眼镜设备,手持设备可以将该待呈现信息进行存储或者发送至对应的网络设备;在发送配置信息被配置为发送时,手持设备基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息。
图10示出了根据本申请的一个方面一种提供待呈现信息并呈现信息的方法,其中,所述穿戴眼镜包括头戴眼镜设备与手持设备,所述头戴眼镜设备与至少一所述手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和显示单元;
其中,所述方法包括:
所述手持设备通过所述第一摄像装置拍摄第一目标图像,并基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,并基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
所述头戴眼镜设备基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的,并在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
上文主要从各种设备交互的角度对本申请实施例提供的方法进行了举例介绍,相对应的,本申请还提供了能够执行上述各方法对应的设备,下面结合图11至图13进行介绍。
图11示出了根据本申请的一个方面一种显示信息的戴眼镜设备,所述头戴眼镜设备与至少一手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元,该设备包括第一一模块11和第一二模块12,第一一模块11,用于基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的;第一二模块12,用于在所述显示单元上叠加呈现所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。
具体而言,第一一模块11,用于基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的。例如,通信连接包括有线或者无线连接,手持设备通过手持设备上的第一摄像装置拍摄当前第一目标图像,并将所述第一目标图像传输至手持设备中的增强现实装置,增强现实装置基于该第一目标图像信息生成对应的待呈现信息,其中,所述待呈现信息包括但不限于对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像信息以及由第一目标图像信息确定的对应的虚拟AR信息。随后,手持设备将所述待呈现信息通过有线或者无线连接的方式传输至头戴眼镜设备。
第一二模块12,用于在所述光学显示单元上叠加呈现所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。头戴眼镜设备接收到所述手持设备传输的关于第一目标图像的待呈现信息,其中,所述待呈现信息包括但不限于对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像信息以及由第一目标图像信息确定的对应的虚拟AR信息。例如,所述操作执行结果信息包括但不限于图像缩放、裁剪、调整亮度、对二维码、条形码进行扫码登录或者人脸识别、字符识别、物体识别的结果。头戴眼镜设备与手持设备分别设有拍摄功能的装置,用户通过手持设备上的第一摄像装置拍摄头戴眼镜设备上的第二摄像装置不方便拍摄到的实时图像,提升了用户的体验。
例如,用户头部穿戴头戴眼镜设备,并持有一手持设备,其中手持设备与头戴眼镜设备通过有线进行连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述第一摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头拍摄特殊角度的图像画面,例如,用户手持手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的摄像头拍摄柜子底部的图像信息,并将拍摄到的图像信息传输至头戴眼镜设备,头戴眼镜设备接收该图像信息并将该图像信息呈现在光学显示单元上,此时用户可以通过头戴眼镜看到手持设备拍摄的画面。或者,所述手持设备中的摄像装置扫描到前方二维码,并将包含该二维码的图像信息传给增强现实装置,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,可选地,随后头戴眼镜看到登录相关信息,例如登录结果或者登录成功后的内容,例如,用户需要观看某网站的视频,该视频网站为会员制,用户持有手持设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功并通过头戴眼镜设备观看网站视频。或者,手持设备中的第一摄像装置拍摄到前方的第一目标图像(例如,人物画像),并基于增强现实装置获取对应的虚拟AR信息(例如,人物视频简介、图片介绍等),并将该虚拟AR信息发送至头戴眼镜设备进行显示。或者,手持设备中的第一摄像装置拍摄到前方的第一目标图像(例如,模糊的图片),手持设备中的增强现实装置接收第一目标图像后上传到服务器和/或本地,在服务器和/或本地中确认对应的图片识别结果(例如,图片识别出的文字等),并将该图片识别结果发送至头戴眼镜设备进行显示。通过移动手持设备中的第一摄像装置,用户可以方便地获取所需的图像信息而无需将头戴眼镜设备移动至相应位置,因此该穿戴眼镜能够提升用户的使用体验;进一步地,手持设备可以克服用户头部尺寸的限制而接近头戴设备无法到达的位置,因此与一体式的头戴眼镜设备相比,该穿戴眼镜的适用范围也更为广泛。
在一些实施例中,第一二模块12,用于在所述光学显示单元的图像呈现区域内的预设区域呈现所述待呈现信息。例如,所述预设区域包括预设一个固定/非固定的区域来显示所述待呈现信息(例如“小窗”显示)。头戴眼镜设备接收到所述手持设备传输的关于第一目标图像的待呈现信息,并将该待呈现信息呈现在头戴眼镜设备预设的区域内。通过预设区域显示待呈现信息,增加了头戴眼镜设备屏幕的利用率,同时以小窗形式呈现,使得展现信息形式丰富多样,更重要的是避免待呈现信息遮挡用户视线。
例如,用户手持手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的第一摄像装置拍摄柜子底部的图像信息,并将拍摄到的图像信息传输至头戴眼镜设备,头戴眼镜设备接收该图像信息并将该图像信息发送至光学显示单元,其中,该图像信息在头戴眼镜设备的光学显示单元中预设显示区域(例如,左镜片上的左上角的区域,其中,该区域占左镜片面积的四分之一)呈现。
在一些实施例中,所述设备还包括第一三模块13(未示出),第一三模块13,用于通过所述光学显示单元,呈现所述第二摄像装置所拍摄的第二目标图像,对所述第二目标图像的图像操作的操作执行结果信息,以及关于所述第二目标图像的虚拟AR信息中的至少一个。例如,头戴眼镜设备包括第二摄像装置和光学显示单元,第二摄像装置拍摄当前的第二目标图像,并通过有线或者无线通信将所述第二目标图像发送给手持设备,所述手持设备中的增强现实装置接收该第二目标图像并返回对应的待呈现信息,其中,所述待呈现信息包括所述第二摄像装置所拍摄的第二目标图像,对所述第二目标图像的图像操作的操作执行结果信息,以及关于所述第二目标图像的虚拟AR信息。手持设备将对应第二目标图像的待呈现信息返回至头戴眼镜设备,并呈现在光学显示单元上。通过将穿戴眼镜的头戴眼镜设备与手持设备物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。
在一些实施例中,所述设备还包括第一四模块14(未示出),第一四模块14,用于基于所述通信连接,将所述第二目标图像发送至所述手持设备,并接收所述手持设备所返回的第二目标图像,对所述第二目标图像的图像操作的操作执行结果信息,以及关于所述第二目标图像的虚拟AR信息中的至少一个。例如,头戴眼镜设备包括第二摄像装置和光学显示单元,第二摄像装置拍摄当前的第二目标图像,并通过有线或者无线通信将所述第二目标图像发送给手持设备,所述手持设备中的增强现实装置接收该第二目标图像并返回对应的待呈现信息。例如,所述待呈现信息包括第二目标图像信息,或者,第二目标图像信息的操作执行结果信息(例如,图像缩放、裁剪、调整亮度、对二维码、条形码进行扫码登录或者人脸识别、字符识别、物体识别的结果),或者与第二目标图像信息对应的虚拟AR信息。通过将穿戴眼镜的头戴眼镜设备与手持设备物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。
例如,用户头部穿戴头戴眼镜设备,并持有一手持设备,其中手持设备与头戴眼镜设备有线连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括增强现实装置;所述头戴眼镜设备包括第二摄像装置和光学显示单元,所述第二摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头拍摄当前图像画面,例如,用户头部穿戴头戴眼镜设备,用摄像头拍摄前方海报上的图像信息,并将拍摄到的图像信息传输至手持设备,手持设备接收该图形信息并传给增强现实装置,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,例如,该海报上存在某视频网站的二维码信息,该视频网站为会员制,用户头部穿戴头戴眼镜设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功;或者,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认与该海报上任务信息对应的虚拟AR信息(例如,人物视频简介、图片介绍等);或者,增强现实装置接收该图像信息,随后,手持设备中的增强现实装置将该图像信息发送至头戴眼镜设备,或者,增强现实装置接收该图像信息并进行相关操作(如裁剪等),随后,手持设备中的增强现实装置将操作后的图像信息发送至头戴眼镜设备,头戴眼镜设备接收该信息并呈现在光学显示单元(例如,预设区域)上。
在一些实施例中,第一二模块12,用于基于所述待呈现信息在所述光学显示单元上的呈现属性,在所述光学显示单元上叠加呈现所述待呈现信息。例如,所述呈现属性包括所述待呈现信息的呈现位置、大小、亮度以及时间等。所述待呈现信息以虚拟AR信息为例,其中,头戴眼镜设备可以显示手持设备拍摄的图像,以及对应叠加的虚拟AR信息,也可以仅叠加对应的虚拟AR信息,以防止图像遮挡用户视线。例如,手持设备拍摄第一目标图像,确定第一目标图像对应的虚拟AR信息以及虚拟AR信息在光学显示单元中的位置,然后将图像和虚拟AR信息显示在头戴眼镜光学显示单元中;又或者,手持设备拍摄目标图像,确定图像对应的虚拟AR信息以及虚拟AR信息在光学显示单元中的位置,然后头戴眼镜设备的光学显示单元叠加显示该虚拟AR信息。例如,以人脸识别为例,手持设备以接近用户第一视角的方式拍摄用户眼前的两个人的图像,利用人脸识别方法确定对应的虚拟AR信息(例如,姓名、年龄等介绍),以及虚拟AR信息在光学显示单元中的位置和大小,然后光学显示单元在相应位置(例如人头部附近)叠加显示该虚拟AR信息,可选地,该虚拟AR信息也可以叠加显示在光学显示单元的预设区域。
在一些实施例中,所述待呈现信息包括关于所述第一目标图像的虚拟AR信息;第一二模块12,用于基于关于所述第一目标图像的虚拟AR信息在所述光学显示单元上的呈现属性,在所述光学显示单元上叠加呈现所述待呈现信息;所述设备还包括第一五模块15(未示出),第一五模块15,用于基于关于所述第一目标图像的虚拟AR信息的更新后的呈现属性,更新叠加呈现的所述虚拟AR信息。例如,所述虚拟AR信息包括但不限于对应第一目标图像确定的视频、图片、3D模型以及文字信息。例如,所述呈现属性包括但不限于所述虚拟AR信息的呈现位置、大小、亮度以及时间等。其中,头戴眼镜设备可以显示手持设备拍摄的图像,以及对应叠加的虚拟AR信息,也可以仅叠加对应的虚拟AR信息,以防止图像遮挡用户视线。例如,手持设备拍摄目标图像,确定图像对应的虚拟AR信息以及虚拟AR信息在光学显示单元中的位置,然后头戴眼镜设备的光学显示单元叠加显示该虚拟AR信息。例如,以人脸识别为例,手持设备以接近用户第一视角的方式拍摄用户眼前的两个人的图像,利用人脸识别方法确定对应的虚拟AR信息(例如,姓名、年龄等介绍),以及虚拟AR信息在光学显示单元中的位置和大小,然后光学显示单元在相应位置(例如人头部附近)叠加显示该虚拟AR信息,可选地,该虚拟AR信息也可以叠加显示在光学显示单元的预设区域。当关于所述第一目标图像的虚拟AR信息更新后的位置和大小等发生改变后,将更新后的虚拟AR信息发送给头戴眼镜设备,使其叠加在更新后的位置上。
在一些实施例中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围。其中,受阻视场范围包括物理受阻及视线(视野)受阻。例如,物理受阻包括第二摄像装置被物理遮挡以至于不能够拍摄到目标图像的情况,视线(视野)受阻包括第二摄像装置的视场角(FOV)相较于第一摄像装置的视场角(FOV)所不能覆盖的范围。因此,手持设备中的第一摄像装置可以拍摄到头戴眼镜设备中的第二摄像装置视野不能拍到的目标图像,第一摄像装置与第二摄像装置合作拍摄提升了拍摄效率,也使得被拍摄的内容更全面。
图12示出了根据本申请的一个方面一种用于向头戴眼镜设备提供待呈现信息的手持设备,所述头戴眼镜设备与所述手持设备通过一通信连接通信,所述手持设备包括第一摄像装置;其中,所述设备包括第二一模块21、第二二模块22和第二三模块23。第二一模块21,用于通过所述第一摄像装置拍摄第一目标图像;第二二模块22,用于基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;第二三模块23,用于基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。
具体地,第二一模块21,用于通过所述第一摄像装置拍摄第一目标图像。例如,手持设备中的第一摄像装置拍摄当前图像获取第一目标图像。
第二二模块22,用于基于所述第一目标图像确定关于所述第一目标图像的待呈现信息。其中所述待呈现信息包括对所述第一目标图像的图像操作的操作执行结果信息、所述第一目标图像以及关于所述第一目标图像的虚拟AR信息。手持设备获取第一目标图像,并将第一目标图像发送至增强现实装置中确认对应的待呈现信息。
第二三模块23,用于基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;其中所述待呈现信息包括以下至少任一项:对所述第一目标图像的图像操作的操作执行结果信息;所述第一目标图像;关于所述第一目标图像的虚拟AR信息。例如,手持设备与头戴眼镜设备通过通信连接,手持设备获取第一目标图像,并将第一目标图像发送至增强现实装置中确认对应的待呈现信息,并将待呈现信息发送至头戴眼镜设备中。
例如,用户头部穿戴头戴眼镜设备,手中持有一手持设备,其中手持设备与头戴眼镜设备通过有线进行连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括第一摄像装置以及与所述第一摄像装置电连接的增强现实装置,所述摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头可用于拍摄特殊角度的图像画面。例如,用户持有手持设备,用户需要柜子底部的图像信息,此时用户利用手持设备的摄像头拍摄柜子底部的图像信息,并将拍摄到的图像信息传输至头戴眼镜设备;或者,用户通过第一摄像装置拍摄到柜子底部图像信息中的二维码信息,手持设备中的增强现实装置接收该二维码信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,并将登陆结果发送至头戴眼镜设备;或者,手持设备中的增强现实装置接收柜子底部的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的该图像信息的虚拟AR信息(例如,柜子底部贴纸上人物的生平简介视频),并将虚拟AR信息发送至头戴眼镜设备。
在实际使用场景中,所述手持设备可以手持使用;也可以放置于某一物理区域,而且,该手持设备在该物理区域中处于静止状态或移动状态,例如该手持设备可作为内置或外接的硬件模块而安装于其他装置或设备上。
在一些实施例中,第二二模块22,用于对所述第一目标图像进行图像操作,并根据所述图像操作的操作结果确定关于所述第一目标图像的待呈现信息。例如,图像操作包括但不限于图像处理、图像识别、图像匹配、目标检测、识别、跟踪等计算机视觉处理操作。手持设备将第一目标图像发送至增强现实装置,增强现实装置接收该第一目标图像后上传到服务器和/或本地,在服务器和/或本地中确定对应的待呈现信息,如图像裁剪结果、二维码、车牌或人脸识别结果等。
在一些实施例中,所述设备还包括第二四模块24(未示出),第二四模块24,用于基于所述通信连接,接收所述头戴眼镜设备所发送的第二目标图像,并向所述头戴眼镜设备返回关于所述第二目标图像的虚拟AR信息、第二目标图像,以及对所述第二目标图像的图像操作的操作执行结果信息中的至少一个。例如,头戴眼镜设备包括第二摄像装置和光学显示单元,第二摄像装置拍摄当前的第二目标图像,并通过有线或者无线通信将所述第二目标图像发送给手持设备,所述手持设备中的增强现实装置接收该第二目标图像并返回对应的待呈现信息。例如,所述待呈现信息包括第二目标图像信息,或者,第二目标图像信息的操作执行结果信息(例如,图像缩放、裁剪、调整亮度、对二维码、条形码进行扫码登录或者人脸识别、字符识别、物体识别的结果),或者与第二目标图像信息对应的虚拟AR信息。通过将穿戴眼镜的头戴眼镜设备与手持设备物理上分离来减轻用户佩戴该穿戴眼镜时的重量,同时可以在头戴眼镜设备上设置第二摄像装置。本方案增加拍摄灵活度,极大地提升了用户的使用体验。
例如,用户头部穿戴头戴眼镜设备,并持有一手持设备,其中手持设备与头戴眼镜设备通过有线进行连接,例如,手持设备与头戴眼镜设备通过USB数据线进行连接。手持设备包括增强现实装置;所述头戴眼镜设备包括第二摄像装置和光学显示单元,所述第二摄像装置包括但不限于RGB摄像头、深度摄像头,摄像头拍摄当前图像画面,例如,用户头部穿戴头戴眼镜设备,用摄像头拍摄前方海报上的图像信息,并将拍摄到的图像信息传输至手持设备,手持设备接收该图形信息并传给增强现实装置,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认对应的登陆操作,例如,该海报上存在某视频网站的二维码信息,该视频网站为会员制,用户头部穿戴头戴眼镜设备通过摄像头扫描视频网站登陆二维码进行登入,随后用户登陆成功;或者,手持设备中的增强现实装置接收发送的图像信息后上传到服务器和/或本地,在服务器和/或本地中确认与该海报上任务信息对应的虚拟AR信息(例如,人物视频简介、图片介绍等);或者,增强现实装置接收该图像信息并确认该图像信息。
在一些实施例中,第二二模块22,用于基于所述第一目标图像以及所述头戴眼镜设备的位姿信息,确定关于所述第一目标图像的待呈现信息,以及所述待呈现信息在所述头戴眼镜设备的光学显示单元上的呈现属性;第二三模块23,用于基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息以及所述呈现属性。
例如,手持设备通过第一摄像装置拍摄目标物体,获得相应的第一目标图像。随后,手持设备根据该第一目标图像以及头戴眼镜设备的位姿信息确定相应的待呈现信息。以待呈现信息为由头戴眼镜设备叠加呈现的预置的三维模型为例,手持设备基于指定的空间坐标系(或称为世界坐标系)确定该三维模型在空间中的位置和姿态;另一方面,头戴眼镜设备亦校准至该世界坐标系,手持设备基于设置在头戴眼镜设备上的传感器(例如陀螺仪、加速度传感器等)获取头戴眼镜设备在该世界坐标系中的位姿。此时,由于上述三维模型和头戴眼镜设备在上述世界坐标系中的位姿均已确定,则上述三维模型相对于头戴眼镜设备的位姿亦已确定(例如基于二者在世界坐标系中的位置、姿态计算上述三维模型相对于头戴眼镜设备的相对位置、姿态);从而,上述三维模型在头戴眼镜设备上的呈现方式亦可确定,例如基于上述相对位置、姿态和透视关系,确定与上述三维模型相应的图形(例如上述三维模型基于上述相对位置、姿态和透视关系的投影)作为关于所述第一目标图像的虚拟AR信息(待呈现信息);同时,该图形(待呈现信息)的大小、呈现位置等呈现属性(例如位置、大小、拉伸变形等),也随之确定。
在一些实施例中,所述待呈现信息包括关于所述第一目标图像的虚拟AR信息;第二二模块22,用于基于关于所述第一目标图像的待呈现信息,以及所述头戴眼镜设备的位姿信息,确定所述待呈现信息的呈现属性;所述设备还包括第二五模块25(未示出),第二五模块25,用于基于所述头戴眼镜设备的更新后的位姿信息,更新所述待呈现信息的呈现属性;第二三模块23,用于向所述头戴眼镜设备发送所述待呈现信息的更新后的呈现属性。例如,以待呈现信息为由头戴眼镜设备叠加呈现的预置的三维模型为例,手持设备基于指定的空间坐标系(或称为世界坐标系)确定该三维模型在空间中的位置和姿态;另一方面,头戴眼镜设备亦校准至该世界坐标系,手持设备基于设置在头戴眼镜设备上的传感器(例如陀螺仪、加速度传感器等)获取头戴眼镜设备在该世界坐标系中的位姿。此时,由于上述三维模型和头戴眼镜设备在上述世界坐标系中的位姿均已确定,则上述三维模型相对于头戴眼镜设备的位姿亦已确定(例如基于二者在世界坐标系中的位置、姿态计算上述三维模型相对于头戴眼镜设备的相对位置、姿态);从而,上述三维模型在头戴眼镜设备上的呈现方式亦可确定,例如基于上述相对位置、姿态和透视关系,确定与上述三维模型相应的图形(例如上述三维模型基于上述相对位置、姿态和透视关系的投影)作为关于所述第一目标图像的虚拟AR信息(待呈现信息);同时,该图形(待呈现信息)的大小、呈现位置等呈现属性(例如位置、大小、拉伸变形等),也随之确定。当头戴眼镜设备相对目标物体的空间位置和姿态发生改变后,待呈现信息对应的呈现属性也相应改变。将更新后的呈现属性发送给头戴眼镜设备,使其更新待呈现信息的显示属性,使其叠加在正确位置。
在一些实施例中,所述手持设备被配置为相对于地面可移动。例如,所述手持设备包括但不限于手机、平板电脑、笔记本电脑、专用硬件、机器人(例如,扫地机器人)等计算设备。所述移动包括主动移动(例如通过滚轮,也不仅限于在地面上移动)和被动移动(例如用户搬动)。
在一些实施例中,所述手持设备包括用于移动所述手持设备的推进装置,第二二模块22,用于当所述手持设备的空间运动状态满足预设运动状态条件时,基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;其中,所述预设运动状态条件包括以下至少任一项:所述手持设备的移动速度小于预设速度阈值;所述手持设备移动至预设空间位置。例如,所述推进装置包括但不限于步进电机以及滚轴。例如,当手持设备的空间运动状态处于静止或者小于预设速度阈值时,手持设备的第一摄像装置进行拍摄当前第一目标图像的操作,在这一运动状态下,第一摄像装置拍摄到的第一目标图像更清晰,为后续增强现实装置确定对应的待呈现信息提供了良好的图像信息,随后手持设备并将该第一目标图像传输至增强现实装置,用于确定关于所述第一目标图像的待呈现信息。或者,所述预设空间位置可以是预先给定的一个真实的空间位置,也可以是包括具有预设标记物的空间,当手持设备的第一摄像装置拍摄到包括预设标记物的第一目标图像,则认为手持设备到达了预设空间位置,也可以是包括具有预设标记物的空间,其中预设标记物包含位置等信息,当手持设备的第一摄像装置拍摄到包括预设标记物的第一目标图像,识别该预设标记物后得到对应的位置;或者手持设备获取拍摄到的第一目标图像后,对拍摄到的第一目标图像进行识别(例如,推算测距法,http://www.xjishu.com/zhuanli/52/03104283.html),识别出在手持设备当前所处的位置,手持设备根据当前位置进行路径规划,确定前往预设空间位置的行驶方向与行驶速度。当手持设备到达目的预设空间位置后,手持设备拍摄当前第一目标图像,并将该第一目标图像传输至增强现实装置,用于确定关于所述第一目标图像的待呈现信息;或者,手持设备本身的定位装置检测到手持设备正处于预设空间位置时,手持设备拍摄当前第一目标图像,并将该第一目标图像传输至增强现实装置,用于确定关于所述第一目标图像的待呈现信息。
例如,此处的手持设备以扫地机器人为例,该扫地机器人底部具有用于驱动扫地机器人在地面上移动的驱动轮,当该扫地机器人静止时或者运行速度小于预设速度,扫地机器人中的第一摄像装置拍摄当前的第一目标图像(例如,柜子底部的图像信息),并由增强现实装置根据柜子底部的图像信息确定对应的登陆操作信息。或者,当扫地机器人中根据自身的定位装置到达预设空间位置时,通过第一摄像装置拍摄当前的第一目标图像,随后由增强现实装置根据该图像信息确定对应的登陆操作信息。
在一些实施例中,第二三模块23,用于当关于所述待呈现信息的发送配置信息被配置为发送时,基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息。其中,所述发送配置信息包括发送以及不发送。例如,手持设备获取第一目标图像,并将第一目标图像发送至增强现实装置中确认对应的待呈现信息,在发送配置信息被配置为不发送时,手持设备不将待呈现信息发送给头戴眼镜设备,手持设备可以将该待呈现信息进行存储或者发送至对应的网络设备;在发送配置信息被配置为发送时,手持设备基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息。
图13示出了根据本申请的一个方面一种提供待呈现信息并呈现信息的系统其中,所述穿戴眼镜包括头戴眼镜设备与手持设备,所述头戴眼镜设备与至少一所述手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和显示单元;
其中,所述系统方法包括:
所述手持设备通过所述第一摄像装置拍摄第一目标图像,并基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,并基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
所述头戴眼镜设备基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的,并在所述显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息。
图14示出了可被用于实施本申请中所述的各个实施例的示例性系统;
如图14所示在一些实施例中,系统300能够作为各所述实施例中的任意一个设备。在一些实施例中,系统300可包括具有指令的一个或多个计算机可读介质(例如,系统存储器或NVM/存储设备320)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如,(一个或多个)处理器305)。
对于一个实施例,系统控制模块310可包括任意适当的接口控制器,以向(一个或多个)处理器305中的至少一个和/或与系统控制模块310通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块310可包括存储器控制器模块330,以向系统存储器315提供接口。存储器控制器模块330可以是硬件模块、软件模块和/或固件模块。
系统存储器315可被用于例如为系统300加载和存储数据和/或指令。对于一个实施例,系统存储器315可包括任意适当的易失性存储器,例如,适当的DRAM。在一些实施例中,系统存储器315可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。
对于一个实施例,系统控制模块310可包括一个或多个输入/输出(I/O)控制器,以向NVM/存储设备320及(一个或多个)通信接口325提供接口。
例如,NVM/存储设备320可被用于存储数据和/或指令。NVM/存储设备320可包括任意适当的非易失性存储器(例如,闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如,一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备320可包括在物理上作为系统300被安装在其上的设备的一部分的存储资源,或者其可被该设备访问而不必作为该设备的一部分。例如,NVM/存储设备320可通过网络经由(一个或多个)通信接口325进行访问。
(一个或多个)通信接口325可为系统300提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统300可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器(例如,存储器控制器模块330)的逻辑封装在一起。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例,(一个或多个)处理器305中的至少一个可与系统控制模块310的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中,系统300可以但不限于是:服务器、工作站、台式计算设备或移动计算设备(例如,膝上型计算设备、持有计算设备、平板电脑、上网本等)。在各个实施例中,系统300可具有更多或更少的组件和/或不同的架构。例如,在一些实施例中,系统300包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机代码,当所述计算机代码被执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品,当所述计算机程序产品被计算机设备执行时,如前任一项所述的方法被执行。
本申请还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个计算机程序;
当所述一个或多个计算机程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前任一项所述的方法。
需要注意的是,本申请可在软件和/或软件与硬件的组合体中被实施,例如,可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中,本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本申请的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
另外,本申请的一部分可被应用为计算机程序产品,例如计算机程序指令,当其被计算机执行时,通过该计算机的操作,可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解,计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等,相应地,计算机程序指令被计算机执行的方式包括但不限于:该计算机直接执行该指令,或者该计算机编译该指令后再执行对应的编译后程序,或者该计算机读取并执行该指令,或者该计算机读取并安装该指令后再执行对应的安装后程序。在此,计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如,光纤、同轴等))和能传播能量波的无线(未有导的传输)介质,诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制,计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如,计算机可读存储介质包括,但不限于,易失性存储器,诸如随机存储器(RAM,DRAM,SRAM);以及非易失性存储器,诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM);以及磁性和光学存储设备(硬盘、磁带、CD、DVD);或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此,根据本申请的一个实施例包括一个装置,该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器,其中,当该计算机程序指令被该处理器执行时,触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其他的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
Claims (25)
1.一种穿戴眼镜,包括:
头戴眼镜设备,所述头戴眼镜设备包括镜架,以及装配于所述镜架的第二摄像装置和光学显示单元;所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧;
与所述头戴眼镜设备存在通信连接的手持设备,所述手持设备包括第一摄像装置,及与所述第一摄像装置电连接的增强现实装置,所述增强现实装置通过所述通信连接分别与所述第二摄像装置、所述光学显示单元进行通信;
所述增强现实装置用于接收所述第一摄像装置拍摄的第一目标图像,确定关于所述第一目标图像的待呈现信息,并通过所述通信连接向所述光学显示单元发送所述待呈现信息;所述光学显示单元用于呈现所述待呈现信息,其中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围,所述受阻视场范围包括物理受阻及视野受阻;
其中,所述增强现实装置还用于通过所述通信连接接收所述第二摄像装置拍摄的第二目标图像,确定所述第二目标图像对应的虚拟AR信息,并通过所述通信连接将所述虚拟AR信息发送至所述光学显示单元;所述光学显示单元用于呈现所述虚拟AR信息。
2.根据权利要求1所述的穿戴眼镜,其中,所述头戴眼镜设备还包括与所述增强现实装置通过所述通信连接进行通信的运动传感器单元,所述运动传感器单元用于采集所述头戴眼镜设备的运动信息,并通过所述通信连接将所述运动信息发送至所述增强现实装置。
3.根据权利要求1所述的穿戴眼镜,其中,所述增强现实装置包括无线通信模块,所述无线通信模块用于将所述第一目标图像和/或所述第二摄像装置拍摄的第二目标图像发送至对应的服务器,并接收所述服务器返回的对应的虚拟AR信息。
4.根据权利要求1所述的穿戴眼镜,其中,所述通信连接通过所述头戴眼镜设备与所述手持设备间的数据线实现;
所述数据线与所述第二摄像装置通过直连或接口模块实现电连接,所述数据线与所述光学显示单元通过直连或接口模块实现电连接。
5.根据权利要求4所述的穿戴眼镜,其中,所述数据线与所述增强现实装置直连。
6.根据权利要求4所述的穿戴眼镜,其中,所述手持设备还包括为所述第一摄像装置及所述增强现实装置供电的供电模块,所述供电模块还用于通过所述数据线向所述头戴眼镜设备供电。
7.根据权利要求1所述的穿戴眼镜,其中,所述通信连接为无线连接;
所述头戴眼镜设备还包括装配于所述镜架的第二通信模块,所述第二通信模块分别与所述第二摄像装置、所述光学显示单元电连接;
所述手持设备还包括与所述增强现实装置电连接的第一通信模块;
所述第一通信模块与所述第二通信模块用于建立所述通信连接。
8.根据权利要求1所述的穿戴眼镜,其中,所述手持设备还包括所述手持设备的壳体以及安装于所述壳体上的按键单元或触摸板。
9.一种在头戴眼镜设备端显示信息的方法,所述头戴眼镜设备与至少一手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元;所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧;
其中,所述方法包括:
基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的,其中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围,所述受阻视场范围包括物理受阻及视野受阻;
在所述光学显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息;
所述方法还包括:通过所述光学显示单元,呈现所述第二摄像装置所拍摄的第二目标图像、对所述第二目标图像的图像操作的操作执行结果信息、以及关于所述第二目标图像的虚拟AR信息中的至少一个;基于所述通信连接,将所述第二目标图像发送至所述手持设备,并接收所述手持设备所返回的第二目标图像、对所述第二目标图像的图像操作的操作执行结果信息、以及关于所述第二目标图像的虚拟AR信息中的至少一个。
10.根据权利要求9所述的方法,其中,所述在所述光学显示单元上叠加呈现所述待呈现信息,包括:
在所述光学显示单元的图像呈现区域内的预设区域呈现所述待呈现信息。
11.根据权利要求9所述的方法,其中,所述在所述光学显示单元上叠加呈现所述待呈现信息,包括:
基于所述待呈现信息在所述光学显示单元上的呈现属性,在所述光学显示单元上叠加呈现所述待呈现信息。
12.根据权利要求11所述的方法,其中,所述待呈现信息包括关于所述第一目标图像的虚拟AR信息;
所述在所述光学显示单元上叠加呈现所述待呈现信息,包括:
基于关于所述第一目标图像的虚拟AR信息在所述光学显示单元上的呈现属性,在所述光学显示单元上叠加呈现所述待呈现信息;
所述方法还包括:
基于关于所述第一目标图像的虚拟AR信息的更新后的呈现属性,更新叠加呈现的所述虚拟AR信息。
13.一种在手持设备端用于向头戴眼镜设备提供待呈现信息的方法,所述头戴眼镜设备与所述手持设备通过一通信连接通信,所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元;所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧;
其中,所述方法包括:
通过所述第一摄像装置拍摄第一目标图像,其中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围,所述受阻视场范围包括物理受阻及视野受阻;
基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息;
所述方法还包括:基于所述通信连接,接收所述头戴眼镜设备所发送的所述第二摄像装置拍摄的第二目标图像,并向所述头戴眼镜设备返回关于所述第二目标图像的虚拟AR信息、第二目标图像、以及对所述第二目标图像的图像操作的操作执行结果信息中的至少一个。
14.根据权利要求13所述的方法,其中,所述基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,包括:
对所述第一目标图像进行图像操作,并根据所述图像操作的操作结果确定关于所述第一目标图像的待呈现信息。
15.根据权利要求13所述的方法,其中,所述基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,包括:
基于所述第一目标图像以及所述头戴眼镜设备的位姿信息,确定关于所述第一目标图像的待呈现信息,以及所述待呈现信息在所述头戴眼镜设备的光学显示单元上的呈现属性;
所述基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息,包括:
基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息以及所述呈现属性。
16.根据权利要求15所述的方法,其中,所述待呈现信息包括关于所述第一目标图像的虚拟AR信息;
所述基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,包括:
基于关于所述第一目标图像的待呈现信息,以及所述头戴眼镜设备的位姿信息,确定所述待呈现信息的呈现属性;
所述方法还包括:
基于所述头戴眼镜设备的更新后的位姿信息,更新所述待呈现信息的呈现属性;
所述基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息,还包括:
向所述头戴眼镜设备发送所述待呈现信息的更新后的呈现属性。
17.根据权利要求13所述的方法,其中,所述手持设备被配置为相对于地面可移动。
18.根据权利要求17所述的方法,其中,所述手持设备包括用于移动所述手持设备的推进装置,所述基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,包括:
当所述手持设备的空间运动状态满足预设运动状态条件时,基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
其中,所述预设运动状态条件包括以下至少任一项:
所述手持设备的移动速度小于预设速度阈值;
所述手持设备移动至预设空间位置。
19.根据权利要求13所述的方法,其中,所述基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,包括:
当关于所述待呈现信息的发送配置信息被配置为发送时,基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息。
20.一种基于穿戴眼镜的提供待呈现信息并呈现信息的方法,其中,所述穿戴眼镜包括头戴眼镜设备与手持设备,所述头戴眼镜设备与至少一所述手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,及与所述第一摄像装置电连接的增强现实装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元;所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧;
其中,所述方法包括:
所述手持设备通过所述第一摄像装置拍摄第一目标图像,并基于所述第一目标图像确定关于所述第一目标图像的待呈现信息,并基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息,其中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围,所述受阻视场范围包括物理受阻及视野受阻;
所述头戴眼镜设备基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的,并在所述光学显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息;
所述增强现实装置用于通过所述通信连接接收所述第二摄像装置拍摄的第二目标图像,确定所述第二目标图像对应的虚拟AR信息,并通过所述通信连接将所述第二目标图像对应的虚拟AR信息发送至所述光学显示单元;所述光学显示单元用于呈现所述第二目标图像对应的虚拟AR信息。
21.一种显示信息的头戴眼镜设备,所述头戴眼镜设备与至少一手持设备通过一通信连接通信;所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元;所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧;
其中,所述头戴眼镜设备包括:
第一一模块,用于基于所述通信连接,接收所述手持设备所发送的关于第一目标图像的待呈现信息,其中所述第一目标图像是由所述第一摄像装置拍摄的,其中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围,所述受阻视场范围包括物理受阻及视野受阻;
第一二模块,用于在所述光学显示单元上叠加呈现所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息;
第一三模块,用于通过所述光学显示单元,呈现所述第二摄像装置所拍摄的第二目标图像、对所述第二目标图像的图像操作的操作执行结果信息、以及关于所述第二目标图像的虚拟AR信息中的至少一个;
第一四模块,用于基于所述通信连接,将所述第二目标图像发送至所述手持设备,并接收所述手持设备所返回的第二目标图像、对所述第二目标图像的图像操作的操作执行结果信息、以及关于所述第二目标图像的虚拟AR信息中的至少一个。
22.一种用于向头戴眼镜设备提供待呈现信息的手持设备,所述头戴眼镜设备与所述手持设备通过一通信连接通信,所述手持设备包括第一摄像装置,所述头戴眼镜设备包括第二摄像装置和光学显示单元;所述头戴眼镜设备还包括遮光单元,所述遮光单元具有至少一个遮光层,所述遮光单元固定地或可拆卸地设置于所述头戴眼镜设备上;所述至少一个遮光层相对于所述光学显示单元设置于所述头戴眼镜设备的背离用户一侧;
其中,所述手持设备包括:
第二一模块,用于通过所述第一摄像装置拍摄第一目标图像,其中,所述第一摄像装置的视场范围的至少一部分包含于所述第二摄像装置的受阻视场范围,或所述第一目标图像的覆盖范围的至少一部分包含于所述第二摄像装置的受阻视场范围,所述受阻视场范围包括物理受阻及视野受阻;
第二二模块,用于基于所述第一目标图像确定关于所述第一目标图像的待呈现信息;
第二三模块,用于基于所述通信连接,向所述头戴眼镜设备发送所述待呈现信息;
其中所述待呈现信息包括以下至少任一项:
对所述第一目标图像的图像操作的操作执行结果信息;
所述第一目标图像;
关于所述第一目标图像的虚拟AR信息;
第二四模块,用于基于所述通信连接,接收所述头戴眼镜设备所发送的所述第二摄像装置拍摄的第二目标图像,并向所述头戴眼镜设备返回关于所述第二目标图像的虚拟AR信息、第二目标图像、以及对所述第二目标图像的图像操作的操作执行结果信息中的至少一个。
23.一种显示信息的穿戴眼镜设备,包括权利要求21所述的头戴眼镜设备,以及权利要求22所述的手持设备。
24. 一种基于穿戴眼镜的显示信息的设备,其中,该设备包括:
处理器;以及
被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行如权利要求9至19中任一项所述方法的操作。
25.一种存储指令的计算机可读介质,所述指令在被执行时使得系统进行如权利要求9至19中任一项所述方法的操作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810837851X | 2018-07-26 | ||
CN201810837851 | 2018-07-26 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109814719A CN109814719A (zh) | 2019-05-28 |
CN109814719B true CN109814719B (zh) | 2024-04-26 |
Family
ID=66605984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910093562.8A Active CN109814719B (zh) | 2018-07-26 | 2019-01-30 | 一种基于穿戴眼镜的显示信息的方法与设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109814719B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112068693A (zh) * | 2019-06-10 | 2020-12-11 | Oppo广东移动通信有限公司 | 控制方法、头戴设备、服务器和运算系统 |
US10699087B1 (en) * | 2019-07-10 | 2020-06-30 | Zebra Technologies Corporation | Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display |
DE102019118965A1 (de) * | 2019-07-12 | 2021-01-14 | Workaround Gmbh | Nebengerät für ein Sensor- und/oder Informationssystem sowie Sensor- und/oder Informationssystem |
CN110891163A (zh) * | 2019-12-29 | 2020-03-17 | 歌尔科技有限公司 | 一种ar眼镜系统、一种图像显示方法和存储介质 |
CN111031294A (zh) * | 2019-12-29 | 2020-04-17 | 歌尔科技有限公司 | 一种ar眼镜系统、一种图像显示方法和存储介质 |
CN111178305A (zh) * | 2019-12-31 | 2020-05-19 | 维沃移动通信有限公司 | 信息显示方法及头戴式电子设备 |
CN111479148B (zh) * | 2020-04-17 | 2022-02-08 | Oppo广东移动通信有限公司 | 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质 |
CN111831353B (zh) * | 2020-07-09 | 2024-02-20 | 平行云科技(北京)有限公司 | 基于OpenXR标准的运行库、数据交互方法、设备及介质 |
CN113359988B (zh) * | 2021-06-03 | 2022-11-29 | 北京市商汤科技开发有限公司 | 一种信息的展示方法、装置、计算机设备及存储介质 |
CN114545629A (zh) * | 2022-01-21 | 2022-05-27 | 广东虚拟现实科技有限公司 | 增强现实装置、信息显示方法及装置 |
CN115396656A (zh) * | 2022-08-29 | 2022-11-25 | 歌尔科技有限公司 | 基于ar sdk的增强现实方法、系统、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106067833A (zh) * | 2015-04-22 | 2016-11-02 | Lg电子株式会社 | 移动终端及其控制方法 |
CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
CN106338828A (zh) * | 2016-08-31 | 2017-01-18 | 京东方科技集团股份有限公司 | 车载增强现实系统、方法和设备 |
CN106371220A (zh) * | 2016-11-17 | 2017-02-01 | 上海翊视皓瞳信息科技有限公司 | 一种用于立体成像及视觉增强的智能眼镜 |
CN106445166A (zh) * | 2016-10-19 | 2017-02-22 | 歌尔科技有限公司 | 一种虚拟现实头盔和切换虚拟现实头盔显示信息的方法 |
CN106814457A (zh) * | 2017-01-20 | 2017-06-09 | 杭州青杉奇勋科技有限公司 | 增强现实眼镜及使用该眼镜进行家居展示的方法 |
CN108304075A (zh) * | 2018-02-11 | 2018-07-20 | 亮风台(上海)信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
CN209216042U (zh) * | 2018-07-26 | 2019-08-06 | 亮风台(上海)信息科技有限公司 | 一种穿戴眼镜 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
TWI486629B (zh) * | 2012-11-21 | 2015-06-01 | Ind Tech Res Inst | 穿透型頭部穿戴式顯示系統與互動操作方法 |
KR102303115B1 (ko) * | 2014-06-05 | 2021-09-16 | 삼성전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법 |
US9858676B2 (en) * | 2015-01-08 | 2018-01-02 | International Business Machines Corporation | Displaying location-based rules on augmented reality glasses |
US20170287215A1 (en) * | 2016-03-29 | 2017-10-05 | Google Inc. | Pass-through camera user interface elements for virtual reality |
-
2019
- 2019-01-30 CN CN201910093562.8A patent/CN109814719B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106067833A (zh) * | 2015-04-22 | 2016-11-02 | Lg电子株式会社 | 移动终端及其控制方法 |
CN106095089A (zh) * | 2016-06-06 | 2016-11-09 | 郑黎光 | 一种获取感兴趣目标信息的方法 |
CN106338828A (zh) * | 2016-08-31 | 2017-01-18 | 京东方科技集团股份有限公司 | 车载增强现实系统、方法和设备 |
CN106445166A (zh) * | 2016-10-19 | 2017-02-22 | 歌尔科技有限公司 | 一种虚拟现实头盔和切换虚拟现实头盔显示信息的方法 |
CN106371220A (zh) * | 2016-11-17 | 2017-02-01 | 上海翊视皓瞳信息科技有限公司 | 一种用于立体成像及视觉增强的智能眼镜 |
CN106814457A (zh) * | 2017-01-20 | 2017-06-09 | 杭州青杉奇勋科技有限公司 | 增强现实眼镜及使用该眼镜进行家居展示的方法 |
CN108304075A (zh) * | 2018-02-11 | 2018-07-20 | 亮风台(上海)信息科技有限公司 | 一种在增强现实设备进行人机交互的方法与设备 |
CN209216042U (zh) * | 2018-07-26 | 2019-08-06 | 亮风台(上海)信息科技有限公司 | 一种穿戴眼镜 |
Also Published As
Publication number | Publication date |
---|---|
CN109814719A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109814719B (zh) | 一种基于穿戴眼镜的显示信息的方法与设备 | |
US11668938B2 (en) | Wearable imaging device | |
TWI597623B (zh) | 可穿戴基於行爲的視覺系統 | |
US9105210B2 (en) | Multi-node poster location | |
US20210143672A1 (en) | Nfc communication and qi wireless charging of eyewear | |
US20140002496A1 (en) | Constraint based information inference | |
US10921881B2 (en) | Position tracking system for head-mounted displays that includes sensor integrated circuits | |
US11575877B2 (en) | Utilizing dual cameras for continuous camera capture | |
US20210098837A1 (en) | Eyewear device battery with phase change material for temperature regulation | |
US11320667B2 (en) | Automated video capture and composition system | |
US11610607B1 (en) | Video highlights with user viewing, posting, sending and exporting | |
US11900058B2 (en) | Ring motion capture and message composition system | |
US11789294B2 (en) | Eyewear frame as charging contact | |
US20220375172A1 (en) | Contextual visual and voice search from electronic eyewear device | |
US11506898B1 (en) | Polarized reflective pinhole mirror display | |
US11538499B1 (en) | Video highlights with auto trimming | |
US11527895B1 (en) | Eyewear bidirectional communication using time gating power transfer | |
US11798282B1 (en) | Video highlights with user trimming | |
US11966048B1 (en) | Head-mounted devices with dual gaze tracking systems | |
US20240110807A1 (en) | Navigation assistance for the visually impaired | |
CN117501702A (zh) | 具有动态转码节流的设备 | |
CN117441147A (zh) | 增强现实体验的扩展视场捕获 | |
KR20230162082A (ko) | 통합된 안테나를 갖는 프로젝터 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 201210 7th Floor, No. 1, Lane 5005, Shenjiang Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Applicant after: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. Address before: Room 501 / 503-505, 570 shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203 Applicant before: HISCENE INFORMATION TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |