CN112256955A

CN112256955A - 智能推荐式眼镜及其使用方法

Info

Publication number: CN112256955A
Application number: CN202010979896.8A
Authority: CN
Inventors: 蒋彤; 乔静萍; 吕蕾
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-09-17
Filing date: 2020-09-17
Publication date: 2021-01-22
Anticipated expiration: 2040-09-17
Also published as: CN112256955B

Abstract

本发明属于智能设备领域，提供了一种智能推荐式眼镜及其使用方法。其中，智能推荐式眼镜包括图像采集模块，其被配置为接收图像采集指令并采集景点图像；中央控制模块，其被配置为获取指令，从而确定是否实时搜索景点图像的相关信息介绍或/和周边推荐信息；图像识别模块，其被配置为识别及分类景点图像；中央搜索引擎，其被配置为在预设数据库中搜索与景点图像相匹配的介绍或/和周边推荐信息；搜索结果输出模块，其被配置为输出中央搜索引擎搜索结果。其能够满足人们随时随地获取，查询并智能推荐信息需求，同时保持眼镜的美观和便捷性。

Description

智能推荐式眼镜及其使用方法

技术领域

本发明属于智能设备领域，尤其涉及一种智能推荐式眼镜及其使用方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前的智能眼镜虽然实现了查看手机中信息的功能，但产品功能单一，不能很好地适应市场用户多样化的极致体验需求。虽然目前有的智能眼镜外部设计了微型摄像头，可以实现图像采集功能，但是发明人发现，它并不能在人们旅游过程中很好地帮助人们提升旅游的体验感，而且配戴眼镜的整体效果也不尽如人意。

发明内容

为了解决上述问题，本发明的第一个方面提供一种智能推荐式眼镜，其能够满足人们随时随地获取、查询并智能推荐信息需求，同时保持眼镜的美观和便捷性。

为了实现上述目的，本发明采用如下技术方案：

一种智能推荐式眼镜，包括：

图像采集模块，其被配置为接收图像采集指令并采集景点图像；

中央控制模块，其被配置为获取指令，从而确定是否实时搜索景点图像的相关信息介绍或/和周边推荐信息；

图像识别模块，其被配置为识别及分类景点图像；

中央搜索引擎，其被配置为在预设数据库中搜索与景点图像相匹配的介绍或/和周边推荐信息；

搜索结果输出模块，其被配置为输出中央搜索引擎搜索结果。

为了解决更好地了解上述模块，本发明的第二个方面提供一种智能推荐式眼镜的使用方法，其能够满足人们随时随地获取，查询并智能推荐信息需求，同时保持眼镜的美观和便捷性。

一种智能推荐式眼镜的使用方法，包括：

接收图像采集指令并采集景点图像；

获取指令，从而确定是否实时搜索景点图像的相关信息介绍或/和周边推荐信息；

当确定实时搜索景点图像的相关信息介绍或/和周边推荐信息时，识别及分类景点图像；

在预设数据库中搜索与景点图像相匹配的介绍或/和周边推荐信息；

输出中央搜索引擎搜索结果。

本发明的有益效果是：

本发明在眼镜端配置图像采集模块、中央控制模块、图像识别模块、中央搜索引擎和搜索结果输出模块；根据图像采集指令采集景点图像；在根据获取的相应指令，确定是否实时搜索景点图像的相关信息介绍或/和周边推荐信息；当确定搜索时，识别及分类景点图像；在预设数据库中搜索与景点图像相匹配的介绍或/和周边推荐信息；输出中央搜索引擎搜索结果。这样在满足人们可以随时获取旅游景点介绍或/和周边推荐的需求的同时，保持眼镜的美观和便捷性。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1是本发明实施例的智能推荐式眼镜的设计原理图；

图2是本发明实施例的智能推荐式眼镜的图像采集原理；

图3是本发明实施例的智能推荐式眼镜的图像处理原理；

图4是本发明实施例的智能推荐式眼镜的图像处理和显示；

图5是本发明实施例的智能推荐式眼镜的图像录入和识别过程；

图6是本发明实施例的智能推荐式眼镜的语音输入和识别原理图；

图7是本发明实施例的智能推荐式眼镜的使用工作流程图。

具体实施方式

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

参照图1，本实施例的智能推荐式眼镜，至少包括图像采集模块、中央控制模块、图像识别模块、中央搜索引擎和搜索结果输出模块。其中，图像采集模块，被配置为接收图像采集指令并采集景点图像。

在本实施例中，图像采集模块包括微型摄像头和图像传感器来实现，其可以作为一个额外装饰安装在眼镜的边框边侧，这个额外装饰既不会影响整体的美观，又不会影响眼镜的功能。

此处需要说明的是，本领域技术人员可根据精度需要来选择相应的摄像头型号，而且根据实际需求，可将图像采集模块设计在预先设定位置。

参照图2，图像采集模块10的结构包括图像成像装置20，其用于将形成的图像传送至图像处理装置60进行处理，处理后的图像传送至存储装置40，其中，存储装置40包括CPU42、ROM44、RAM46和闪存48。图像处理装置60还用于将处理后的图像传送至显示控制装置70。显示控制装置70还与EVF(Electronic View Finder，电子显示屏)72和液晶监视器74分别相连。

其中，存储装置40还与存储卡50相连。存储装置40还与按钮装置80相连，按钮装置80包括快门按钮80a、设定按钮80b和电源按钮80c。图像成像装置20包括21光学成像元件、快门机构23和图像传感器22；图像传感器22通过AFE23与图像处理装置60相连，存储装置40通过垂直驱动调制电路32与图像传感器22相连。脉冲发生电路30还分别为图像传感器22、垂直驱动调制电路32和图像处理装置60提供相应脉冲控制信号。电池55用于为整个图像采集模块10供电。

如图3所示，图像传感器以CCD成像为例，其原理为：

CCD(Charge Coupled Device)即电荷藕合器件是基于金属一氧化物一半导体技术的光电转换器件，它是由很多光敏像元组成即在P型(或N型)硅衬底的表面用氧化方法形成一层厚度约120nm的二氧化硅再在二氧化硅上蒸镀一层金属膜，并用光刻的方法制成栅状电极。CCD的基本工作步骤为：把入射光子转变成电荷，把这些电荷转移到输出放大器上，并把电荷转变成电压或电流信号，使这些电压或电流能被传感器外的电路感知。当栅极施加正偏压后，空穴被排斥，产生耗尽区，偏压继续增加，耗尽区将进一步向半导体内延伸，将半导体电子吸引到表面，形成一层极薄但电荷浓度很高的反型层。CCD中电荷从一个位置转移到另一个位置，在开始时刻，有一些电荷存储在偏压为10V的第一个电极下的势阱中，其它电极上均加有大于阈值的较低电压。经过一定时刻后，各电极上的电压发生变化，电荷包向右移动。将按一定规律变化的电压(如外部的时钟电压)加到CCD各电极上，电极下的电荷包就沿半导体表面按一定方向转移到输出端，实现图像的自扫描，从而将照射在CCD上的光学图像转换成电信号图像，直接显示图像全貌。

如图4所示，图像采集模块将采集后的图像经A/D转换模块后传送至DSP处理模块，经DSP处理模块处理后输出相应图像，存储至SDRAM中进行存储，同时还可在图像显示模块中进行显示。

人们在观光旅游过程中，如果想要了解所看到的景点的历史背景和相关的介绍，可以语音控制或者按下镜腿的按钮进行拍摄，为了方便后期的智能数据分析和相关知识推荐的精确度，所拍摄的照片最好为具有代表性标识的物体或涵盖70％的景物信息。当然最好所拍摄的图片是清晰地，而不是匆忙拍摄下模糊的照片。图像采集是智能眼镜进行识别分析和智能推荐的前提，只有获取到清晰准确的图片，才能实现更为精确的信息推荐功能，满足用户高质量的旅游需求。

为了达到上述目的，在具体实施过程中，图像采集模块与图像采集指令输入模块相连。其中，图像采集指令输入模块为按钮或语音控制模块。

例如：按钮可以安装在镜腿的外侧，通过人体舒服的控制姿势来确定它具体安装在哪一个位置，也可根据实际需求设计在其他位置。

在其他实施例中，也可通过语音控制模块来实现图像采集指令的输入。

当图像采集模块采集的景点图像后会实时存储至本地存储模块(比如：存储芯片、ROM或RAM等等)。

其中，中央控制模块，被配置为获取指令，从而确定是否实时搜索景点图像的相关信息介绍或/和周边推荐信息。

中央控制模块还被配置为调取本地存储模块内的景点图像，并传送至移动通信端。移动通信端可为手机端或电脑端。蓝牙模块可安装在眼镜的镜腿内部，在配对连接成功以后会有提示音播放出来，方便日常的使用。其中，中央控制模块与移动通信端之间可采用蓝牙模块进行通信，人们可以随时控制是否通过蓝牙将图片传输至手机端或者是电脑端，在这里的传输中，人们会需要通过投影观看来选择哪些图片要进行传输，或者选择全部图片进行传输。

蓝牙模块的信号传输工作原理为：

1)蓝牙通信的主与从：

蓝牙技术规定每一对设备之间进行蓝牙通讯时，必须一个为主角色，另一为从角色，才能进行通信，通信时，必须由主端进行查找，发起配对，建链成功后，双方即可收发数据。理论上，一个蓝牙主端设备，可同时与7个蓝牙从端设备进行通讯。一个具备蓝牙通讯功能的设备，可以在两个角色间切换，平时工作在从模式，等待其它主设备来连接，需要时，转换为主模式，向其它设备发起呼叫。一个蓝牙设备以主模式发起呼叫时，需要知道对方的蓝牙地址，配对密码等信息，配对完成后，可直接发起呼叫。

2)蓝牙的呼叫过程

蓝牙主端设备发起呼叫，首先是查找，找出周围处于可被查找的蓝牙设备。主端设备找到从端蓝牙设备后，与从端蓝牙设备进行配对，此时需要输入从端设备的PIN码，也有设备不需要输入PIN码。配对完成后，从端蓝牙设备会记录主端设备的信任信息，此时主端即可向从端设备发起呼叫，已配对的设备在下次呼叫时，不再需要重新配对。已配对的设备，作为从端的蓝牙耳机也可以发起建链请求，但做数据通讯的蓝牙模块一般不发起呼叫。链路建立成功后，主从两端之间即可进行双向的数据或语音通讯。在通信状态下，主端和从端设备都可以发起断链，断开蓝牙链路。

3)蓝牙一对一的串口数据传输应用

蓝牙数据传输应用中，一对一串口数据通讯是最常见的应用之一，蓝牙设备在出厂前即提前设好两个蓝牙设备之间的配对信息，主端预存从端设备的PIN码、地址等，两端设备加电即自动建链，透明串口传输，无需外围电路干预。一对一应用中从端设备可以设为两种类型，一是静默状态，即只能与指定的主端通信，不被别的蓝牙设备查找；二是开发状态，既可被指定主端查找，也可以被别的蓝牙设备查找建链。

在中央控制模块中，获取确定是否实时搜索景点图像的相关信息介绍或/和周边推荐信息的指令的过程中，可通过接收按钮的形式或是从语音控制模块中获取。语音控制模块被配置为接收语音信息并识别出相应指令，并传送至中央控制模块。

如图6所示，语音输入后经过预处理，特征提取，相似度度量，后处理，然后最终给予识别结果并给出反应，参考模式库在其中也扮演着很重要的角色，根据特征提取的信息在参考模式库中比对，给予最优的信息，对特征提取并在识别之后的相似度度量进行补充，达到最好的处理效果。

在语音识别提取的过程中，首先语音识别系统对收集到的目标语音进行预处理，包含语音信号采样、反混叠带通滤波、去除个体发音差异和设备、环境引起的噪声影响等等，之后对处理的语音进行特征提取。

语音识别提取的过程中，还设置自学习环节，其过程为：将语音转换成文本的语音识别系统要有两个数据库，一是可与提取出的信息进行匹配的声学模型数据库，二是可与之匹配的文本语言数据库。这两个数据库需要提前对大量数据机型训练分析，也就是所说的自学习系统，从而提取出有用的数据模型构成数据库；另外，在识别过程中，自学习会归纳用户的使用习惯和识别方式，然后将数据归纳到数据库，从而让识别系统对该用户来说更智能。

其中，图像识别模块，其被配置为识别及分类景点图像。

当确定实时搜索景点图像的相关信息介绍或/和周边推荐信息时，图像识别模块识别及分类景点图像。

在具体实施中，可利用感知哈希算法对景点图像进行识别及分类。其中，如图5所示，利用感知哈希算法对景点图像进行识别及分类的过程为：

STEP 1：缩放所采集的图片；

统一将图片尺寸缩放为32*32，一共得到了1024个像素点；

STEP 2：把缩放后的图片转化为256阶的灰度图；

统一下一步输入标准，将非单通道图片都转为单通道灰度图；

STEP 3：计算单通道灰度图的离散余弦变换(Discrete Cosine Transform)；

计算32x32数据矩阵的离散余弦变换后对应的32x32数据矩阵；

STEP 4：缩小32x32数据矩阵的离散余弦变换(Discrete Cosine Transform)；

取上一步得到32x32数据矩阵左上角8x8子区域；

STEP 5：计算离散余弦变换的平均值；

通过上一步可得一个8x8的整数矩阵G,计算这个矩阵中所有元素的平均值，假设其值为a，这就是这张图片的指纹；

STEP 6：匹配采集图像与图像库图片的指纹；

得到图片的指纹后,就可以对比不同的图片的指纹,从左到右一行一行的遍历矩阵中的每一个像素，计算出64位中有多少位是不一样的.如果不相同的数据位数不超过5,就说明两张图片很相似,如果大于10,说明它们是两张不同的图片。

此处需要说明的是，在其他实施例中，也可采用其他现有的图像识别算法来对景点图像进行识别及分类。比如：图像特征提取与神经网络结合进行识别景点图像等等。

其中，中央搜索引擎，被配置为在预设数据库中搜索与景点图像相匹配的介绍或/和周边推荐信息。

搜索结果输出模块，被配置为输出中央搜索引擎搜索结果。

所述搜索结果输出模块为语音播放模块或虚拟投影模块。

如图7所示，用户可以选择是否进行语音播放或者通过虚拟投影自己来观看所搜索出来的全部信息。如果是语音播放，系统会播放被广大网站用户接受率最高的一条信息，如果不满意，可以换下一条继续播放，这里的语音会通过人工智能技术合成广大用户接受率最高的好听的声音，根据使用者的需求来确定选择使用男性的声音还是女性的声音，这块的技术很像现在推销电话里面的声音，通过好听的声音来吸引接电话者持续的听下去，而不是听到推销就果断地挂掉电话，而且在播放关于经典的相关信息时，会注重语气的配合，这段播放不仅仅像是个智能技术，而像是一个导游在向你介绍景点；如果是通过虚拟投影来观看的话，用户可以自己翻下一页来选择自己要看哪一条信息，看这个景点的相关介绍以及周边推荐的信息，当然在众多信息中，依然会把接受率最高的信息放在首位。

采用全息投影技术(baifront-projected holographic display)实现虚拟投影模块的原理为：

STEP 1：利用干涉原理记录物体光波信息，此即拍摄过程：被摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张全息图，或称全息照片。

STEP 2：利用衍射原理再现物体光波信息，这是成像过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个像，即原始像(又称初始像)和共轭像。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。

本实例的智能推荐式眼镜的使用方法，具体包括：

中央控制模块接受图像采集指令并通过按钮控制或语音输入指令控制设备采集景点图像。

获取指令后，中央控制模块判定是否实时搜索景点图像的相关信息介绍和/或周边推荐信息。

当确定进行实时搜索景点图像介绍和/或周边推荐信息时，图像识别模块对景点图像进行识别及分类。

中央搜索引擎在预设数据库中搜索与景点图像相匹配的景点介绍和/或周边推荐信息，并将匹配的最高的一条信息放在首位。

输出中央搜索引擎的搜索结果，通过语音播放或虚拟投影来进行收听或查看。

本实例的优点：

本实例主要针对的是旅游人群，所涉及的功能也在旅游方面多有涉及，本实施例在眼镜端配置了图像采集模块、中央控制模块、图像识别模块、中央搜索引擎和搜索结果输出模块；根据图像采集指令通过按钮控制或语音控制来采集景点图像；在根据获取的相应指令，确定是否实时搜索景点图像的相关信息介绍和/或周边推荐信息；当确定搜索时，图像识别模块进行识别及分类景点图像；中央搜索引擎在预设数据库中搜索与景点图像相匹配的介绍和/或周边推荐信息；输出中央搜索引擎搜索结果，通过选择语音播放或虚拟投影来进行收听或查看。这样在满足人们可以随时获取旅游景点介绍和/或周边推荐需求的同时，保持眼镜的美观和便捷性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，在未来可以有更多的引申，涉及更多的领域和生活中的方方面面；在外观方面也不仅仅局限于现有的外观，而是可以更加丰富和时尚。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种智能推荐式眼镜，其特征在于，包括：

图像识别模块，其被配置为识别及分类景点图像；

2.如权利要求1所述的智能推荐式眼镜，其特征在于，所述图像采集模块与图像采集指令输入模块相连。

3.如权利要求2所述的智能推荐式眼镜，其特征在于，所述图像采集指令输入模块为按钮或语音控制模块。

4.如权利要求1所述的智能推荐式眼镜，其特征在于，所述图像采集模块被配置为采集的景点图像存储至本地存储模块。

5.如权利要求4所述的智能推荐式眼镜，其特征在于，所述本地存储模块还与中央控制模块相连，所述中央控制模块与移动通信端相互通信。

6.如权利要求5所述的智能推荐式眼镜，其特征在于，所述中央控制模块通过蓝牙模块与移动通信端进行信息传输。

7.如权利要求1所述的智能推荐式眼镜，其特征在于，所述中央控制模块与语音控制模块相连，语音控制模块被配置为接收语音信息并识别出相应指令，并传送至中央控制模块。

8.如权利要求1所述的智能推荐式眼镜，其特征在于，在所述图像识别模块中，利用感知哈希算法对景点图像进行识别及分类。

9.如权利要求1所述的智能推荐式眼镜，其特征在于，所述搜索结果输出模块为语音播放模块或虚拟投影模块。

10.一种如权利要求1-9中任一项所述的智能推荐式眼镜的使用方法，其特征在于，包括：

接收图像采集指令并采集景点图像；

输出中央搜索引擎搜索结果。