CN206848594U - 用于混合现实的智能眼镜 - Google Patents

Abstract

本实用新型属于混合现实技术领域，涉及一种用于混合现实的智能眼镜。所述智能眼镜包括：验证装置、环境感知装置、物体识别装置、信号生成装置、展示装置、以及通信装置，其中，所述验证装置与所述信号生成装置以及所述通信装置耦接，所述环境感知装置与所述物体识别装置以及所述通信装置耦接，所述信号生成装置与所述物体识别装置、所述展示装置以及所述通信装置耦接。基于此，用户之间的交互信息的呈现和传递方式由传统的二维变成三维。

Description

用于混合现实的智能眼镜

技术领域

本实用新型涉及混合现实技术领域，更加具体地，涉及一种用于混合现实的智能眼镜。

背景技术

目前最常见的用户之间进行信息交互是通过各种即时通信(Instant Messenger，IM)系统/软件/工具进行，例如QQ，微信等。用户利用这些即时通讯工具可以相互之间进行文字，图片，语音，视频的交互。

基于服务器的电子邮件，博客等非即时通信系统也可以实现用户之间的信息交互。例如用户相互之间可以发送电子邮件，可以在他人的博客下面留言，从而实现用户之间非即时的信息交互。

此外，现有的用户之间进行信息交互的方式还仅限于文字，图片，语音，视频等二维的信息呈现方式。这些信息由于本身的二维属性往往导致和用户接收信息时的周围环境是没有联系的，或者是说给用户的体验不是立体的，这也会造成用户体验到的沉浸感不强烈。

实用新型内容

本实用新型的目的在于通过物体识别与网络侧服务的结合，提供给用户一种新的用于混合现实的智能眼镜。用户在接收信息与发送信息的时候，用户所处的环境和用户之间交互的信息是融合在一起的，并通过混合现实的方式展示给用户，使用户以立体的方式接收信息，从而给用户的体验具有更强的沉浸感。

根据本实用新型的一方面，一种用于混合现实的智能眼镜包括：

验证用户信息和/或激活用户的验证装置；

采集所述智能眼镜周围的环境信息的环境感知装置；

基于环境信息，进行物体识别的物体识别装置；

根据用户的输入指令和验证结果，生成和/或编辑与被识别的物体相关联的标识信息以及交互信息的信号生成装置；

立体地显示交互信息的展示装置；以及

发送环境信息、与被识别的物体相关联的标识信息、交互信息以及用户信息的通信装置；

其中，所述验证装置与所述信号生成装置以及所述通信装置耦接，所述环境感知装置与所述物体识别装置以及所述通信装置耦接，所述信号生成装置与所述物体识别装置、所述展示装置以及所述通信装置耦接。

根据本实用新型的示例性实施例，所述验证装置为指纹识别装置、面部识别装置、或者虹膜识别装置。

根据本实用新型的示例性实施例，所述环境感知装置为摄像头、惯性测量单元、激光雷达、全球定位系统、温度传感器、压力传感器、电压传感器、或者电流传感器。

根据本实用新型的示例性实施例，所述物体识别装置为测距仪或者立体摄像机。

根据本实用新型的示例性实施例，所述通信装置为WiFi通信单元、蓝牙通信单元、或者近场通信单元。

根据本实用新型的示例性实施例，所述环境感知装置位于所述智能眼镜的鼻梁以及镜框侧桩头处。

根据本实用新型的示例性实施例，所述智能识别装置位于所述智能眼镜的镜腿上靠近镜框的一侧。

根据本实用新型的示例性实施例，所述信息生成装置和所述通信装置位于所述智能眼镜的桩头处。

根据本实用新型的示例性实施例，所述展示装置为所述智能眼镜的镜片。

根据本实用新型的示例性实施例，所述验证装置位于所述智能眼镜的镜腿上远离镜框的一侧。

根据本实用新型实施例的用于混合现实的智能眼镜，用户之间的交互信息的呈现和传递方式由传统的二维方式变成三维方式，使得信息能够以多元化的形式呈现。

此外，通过上述各个子部件在智能眼镜上的排布，使得根据本实用新型实施例的智能眼镜的结构更加精巧，从而有利于智能眼镜的小型化。

附图说明

图1为根据本实用新型实施例的混合现实场景的结构框图；

图2为根据本实用新型实施例的混合现实设备的结构框图；以及

图3为根据本实用新型实施例的用于混合现实的智能眼镜的结构框图。

具体实施方式

下面结合附图和具体实施例对本实用新型的实施例进行详细说明。

根据本实用新型实施例的基于物体识别的信息交互方法和装置典型适用于混合现实(Mixed Reality，MR)场景，即通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感的场景。

此外，根据本实用新型实施例的基于物体识别的信息交互方法和装置还可以适用于与混合现实场景相类似的场景，例如，可以将虚拟三维数据与现实物体一起展示的场景。

根据本实用新型实施例的混合现实(Mixed Reality，MR)场景的结构框图如图1所示。

用户与混合现实设备之间进行虚拟三维数据交互。混合现实设备可感知环境并识别物体。云管理系统可基于混合现实设备发送的数据生成并管理数据节点，以及将数据节点发送给混合现实设备，最终可实现用户与用户之间的虚拟三维数据的交互。

需要说明的是，这里所述的混合现实设备主要指的是那些具有一个或者多个环境感知装置以及智能识别装置的智能设备，包括但不仅限于智能手机、智能眼镜、智能头盔等。

这里所述的环境感知装置包含但不仅限于摄像头，惯性测量单元(InertialMeasurement Unit,IMU)，激光雷达，全球定位系统(Global Positioning System，GPS)，以及各种传感器(例如，温度传感器、压力传感器、电压传感器、电流传感器)等。

这里所述的智能识别装置可以是具备图像识别，物体识别等功能的各种装置，例如测距仪、立体摄像机等。

本实用新型中，混合现实设备也可称作用于混合现实的终端装置、用于混合现实的终端设备、终端装置、或者终端设备。

值得注意的是，此处所述的云管理系统可基于混合现实设备发送的数据生成并管理数据节点，以及将数据节点发送给混合现实设备。

云管理系统可以是云端服务器，云管理系统、云管理服务器、服务器或者其他管理系统。在本实用新型中，云管理系统也被称作用于混合现实的网络侧装置、用于混合现实的网络侧设备、网络侧装置、或者网络侧设备。

图2示出了根据本实用新型实施例的混合现实设备10的结构框图。

如图2所示，一种混合现实设备10包括但不仅限于以下所罗列的功能装置：

用户登录装置11(也可称作“验证装置”)，其被配置为验证用户信息(也可称作“账户信息”)和/或激活用户，并通过通信装置16将用户信息发送到云管理系统。例如，对于未注册用户，提示用户进行注册，并负责激活用户；对于已注册用户，则验证用户信息。此处的用户登录装置11可以是指纹识别装置、面部识别装置、或者虹膜识别装置。

环境感知装置12，其被配置为采集所述智能眼镜周围的环境信息。例如，采集地理位置信息、图像信息、动作信息、方位信息、温度信息、压力信息、电流信息、电压信息等。环境感知装置12可以是摄像头、惯性测量单元、激光雷达、全球定位系统、温度传感器、压力传感器、电压传感器、或者电流传感器。

智能识别装置13(也可称作“物体识别装置”)，其被配置为基于环境信息，进行物体识别。智能识别装置13可以是测距仪或者立体摄像机。

需要说明的是，在本实用新型的另一实施例中，物体识别装置13还被配置为联合云管理系统20(即，网络侧)对智能眼镜周围环境中的物体进行识别。

例如，当混合现实设备10性能不佳，识别物体需要消耗较长时间，或者当混合现实设备10所处环境复杂，难以将待识别物体识别出来时，混合现实设备10此时可以将待识别物体的数据通过通信装置16发送至云管理系统20。云管理系统20通过部署在云端的深度学习网络对物体进行识别和分类，并把识别结果返回给混合现实设备10的物体识别装置13。

信号生成装置14，其被配置为根据用户的输入指令和验证结果，生成与被识别的物体相关联的标识信息(也可称作“Marker信息”、“Marker数据”)以及交互信息。换言之，信号生成装置14负责提供一系列特定的工具、界面或者端口给用户，使用户可以自由的制作Marker数据以及交互信息数据。例如，用户通过键盘、触摸屏或者手势输入指令，信号生成装置14根据输入指令和验证结果，生成与被识别的物体相关联的标识信息(也可称作“Marker信息”、“Marker数据”)以及交互信息。

需要说明的是，在本实用新型的另一实施例中，信号生成装置14还可配置为基于环境信息，从云管理系统20发送的数据节点中提取Marker数据和/或交互信息数据。

此处，Marker数据具体的含义包括特征化的二维图像数据、特征化的三维图形数据、特征化的商标、特征化的包装等用来表征某一个物体的数据集合。

此处，交互信息数据具体的含义包括文字、图片、语音、视频以及通过特定软件制作的虚拟三维数据。

展示装置15，其被配置为通过混合现实的方式立体地显示交互信息。将交互信息与识别物体联合展示，例如，将交互信息标识在识别物体虚拟影像的特定位置上，结合识别物体的虚拟影像将交互信息展示给用户，这样用户从不同角度看到的立体图像是不同的。

需要说明的是，在本实用新型的另一实施例中，展示装置15还可以通过混合现实的方式立体地显示与被识别的物体相关联的交互信息，例如，立体地显示由其他用户制作与被识别的物体相关联的交互信息。

需要说明的是，在本实用新型的又一实施例中，展示装置15还可以通过混合现实的方式立体地显示云管理系统20中内容商店中的内容。

通信装置16，其被配置为发送环境信息、与被识别的物体相关联的标识信息、交互信息以及用户信息至云管理系统20。

需要说明的是，通信装置16与云管理系统20之间的通信可以是有线连接，或者还可以是经由WiFi、蓝牙、近场通信(NFC)等任何其它合适类型的无线通信协议的无线连接。

通信装置16还可以经由网络连接至云管理系统20。网络可以是局域网、广域网、有线网络、无线网络、个域网、或者其组合形式，并且还可以包括英特网。

图3示出了根据本实用新型一实施例的用于混合现实的智能眼镜的结构框图。

如图3所示，用户登录装置11位于用于混合现实的智能眼镜的镜腿上远离镜框的一侧，从而便于用户登录。

环境感知装置12分别位于用于混合现实的智能眼镜鼻梁、镜框侧桩头处(图3中12所标识的左右两处)的一处或者多处，并且位于智能眼镜鼻梁上的环境感知装置12的水平高度要高于镜框侧桩头处的环境感知装置12的水平高度，从而有利于环境感知装置12的立体识别。

智能识别装置13位于用于混合现实的智能眼镜的镜腿上靠近镜框的一侧。由此，便于智能识别装置13的进一步扩展，例如，通过智能眼镜的镜腿上相应的接口通过外设的方式进一步扩展智能识别装置13。

信号生成装置14和通信装置16位于用于混合现实的智能眼镜桩头处。通过将信号生成装置14和通信装置16相邻设置，可以节省布线空间，使得智能眼镜结构更加紧凑。

用于混合现实的智能眼镜的镜片即为展示装置15。

综上所述，根据本实用新型实施例的用于混合现实的智能眼镜，用户之间的交互信息的呈现和传递方式由传统的二维变成三维，使得信息能够以多元化的形式呈现。此外，用户之间的交互信息、用户所处的环境以及环境中的物体是相互辅助，相辅相成的关系，从而使用户接收信息时有了更强的沉浸感，用户体验获得了显著的提升。

应当理解，上述提及的功能装置可基于需要进行合并或者做进一步的划分。此处所述的装置和/或方法本质上是示例性的，并且这些具体实施例或者示例不应被认为是限定性的，他们存在多种变型。

需要说明的是，本实用新型中“耦接”表示，两个部件或者装置之间直接或者间接的电连接。

以上所述的具体实施方式，对本实用新型的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本实用新型的具体实施方式而已，并不用于限定本实用新型的保护范围，凡在本实用新型的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (10)

1.一种用于混合现实的智能眼镜，其特征在于，所述智能眼镜包括：

验证用户信息和/或激活用户的验证装置；

采集所述智能眼镜周围的环境信息的环境感知装置；

基于环境信息，进行物体识别的物体识别装置；

根据用户的输入指令和验证结果，生成和/或编辑与被识别的物体相关联的标识信息以及交互信息的信号生成装置；

立体地显示交互信息的展示装置；以及

发送环境信息、与被识别的物体相关联的标识信息、交互信息以及用户信息的通信装置；

其中，所述验证装置与所述信号生成装置以及所述通信装置耦接，所述环境感知装置与所述物体识别装置以及所述通信装置耦接，所述信号生成装置与所述物体识别装置、所述展示装置以及所述通信装置耦接。

2.根据权利要求1所述的智能眼镜，其特征在于，所述验证装置为指纹识别装置、面部识别装置、或者虹膜识别装置。

3.根据权利要求1所述的智能眼镜，其特征在于，所述环境感知装置为摄像头、惯性测量单元、激光雷达、全球定位系统、温度传感器、压力传感器、电压传感器、或者电流传感器。

4.根据权利要求1所述的智能眼镜，其特征在于，所述物体识别装置为测距仪或者立体摄像机。

5.根据权利要求1所述的智能眼镜，其特征在于，所述通信装置为WiFi通信单元、蓝牙通信单元、或者近场通信单元。

6.根据权利要求1所述的智能眼镜，其特征在于，所述环境感知装置位于所述智能眼镜的鼻梁以及镜框侧桩头处。

7.根据权利要求1所述的智能眼镜，其特征在于，所述智能识别装置位于所述智能眼镜的镜腿上靠近镜框的一侧。

8.根据权利要求1所述的智能眼镜，其特征在于，所述信息生成装置和所述通信装置位于所述智能眼镜的桩头处。

9.根据权利要求1所述的智能眼镜，其特征在于，所述展示装置为所述智能眼镜的镜片。

10.根据权利要求1所述的智能眼镜，其特征在于，所述验证装置位于所述智能眼镜的镜腿上远离镜框的一侧。