CN108052935A - 一种具有识别功能的智能眼镜 - Google Patents

一种具有识别功能的智能眼镜 Download PDF

Info

Publication number
CN108052935A
CN108052935A CN201810090511.5A CN201810090511A CN108052935A CN 108052935 A CN108052935 A CN 108052935A CN 201810090511 A CN201810090511 A CN 201810090511A CN 108052935 A CN108052935 A CN 108052935A
Authority
CN
China
Prior art keywords
mrow
image
trackpad
module
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810090511.5A
Other languages
English (en)
Inventor
杨金源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhida Machinery Technology Co Ltd
Original Assignee
Shenzhen Zhida Machinery Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhida Machinery Technology Co Ltd filed Critical Shenzhen Zhida Machinery Technology Co Ltd
Priority to CN201810090511.5A priority Critical patent/CN108052935A/zh
Publication of CN108052935A publication Critical patent/CN108052935A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种具有识别功能的智能眼镜，包括眼镜本体和设置于眼镜本体上的触控板、主控芯片、摄像头、预处理模块、识别模块和输出模块，所述触控板用于检测使用者在触控板上的手势特征，当检测到使用者在所述触控板上的手势特征为预设的滑动手势时，向所述主控芯片发送信号，所述主控芯片在接收到所述信号后，向所述摄像头发出拍照指令，控制摄像头进行拍照，所述预处理模块用于对摄像头拍摄的图像进行预处理，所述图像识别模块用于对图像中的人脸和文字进行识别，获取人脸对应的身份信息和文字对应的语义信息。本发明的有益效果为：提供了一种智能眼镜，极大的提升了眼镜的可操作性和功能性。

Description

一种具有识别功能的智能眼镜
技术领域
本发明涉及眼镜技术领域，具体涉及一种具有识别功能的智能眼镜。
背景技术
日常生活中，人们经常会碰到认识到的人，但是无法想起其身份信息，这就为社交和商务活动带来不好的影响，另外，我们常常会遇到许多不认识的文字，尤其是外文，会给人们带来不便。
人类所有的感知中，视觉在人类观察世界和认知世界方面起着重要的作用，而与视觉关系最密切的就是图像。我们生活的世界是三维世界，人眼所感知的图像是三维图像，但视觉传感器通常只能给出二维图像，所以，在图像处理中，一般分析处理的图像正是二维图像。
发明内容
针对上述问题，本发明旨在提供一种具有识别功能的智能眼镜。
本发明的目的采用以下技术方案来实现：
提供了一种具有识别功能的智能眼镜，包括眼镜本体和设置于眼镜本体上的触控板、主控芯片、摄像头、预处理模块、识别模块和输出模块，所述触控板用于检测使用者在触控板上的手势特征，当检测到使用者在所述触控板上的手势特征为预设的滑动手势时，向所述主控芯片发送信号，所述主控芯片在接收到所述信号后，向所述摄像头发出拍照指令，控制摄像头进行拍照，所述预处理模块用于对摄像头拍摄的图像进行预处理，所述图像识别模块用于对图像中的人脸和文字进行识别，获取人脸对应的身份信息和文字对应的语义信息，所述输出模块包括语音模块和显示屏，所述语音模块用于播报所述身份信息和语义信息，所述显示屏用于显示所述身份信息和语义信息。
本发明的有益效果为：提供了一种智能眼镜，极大的提升了眼镜的可操作性和功能性，用户通过摄像头获取周围图像，并借助识别模块实现了人脸和文字信息的识别。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明的结构示意图；
附图标记：
眼镜本体1、触控板2、主控芯片3、摄像头4、预处理模块5、识别模块6、输出模块7。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例的一种具有识别功能的智能眼镜，包括眼镜本体1和设置于眼镜本体1上的触控板2、主控芯片3、摄像头4、预处理模块5、识别模块6和输出模块7，所述触控板2用于检测使用者在触控板2上的手势特征，当检测到使用者在所述触控板2上的手势特征为预设的滑动手势时，向所述主控芯片3发送信号，所述主控芯片3在接收到所述信号后，向所述摄像头4发出拍照指令，控制摄像头4进行拍照，所述预处理模块5用于对摄像头4拍摄的图像进行预处理，所述图像识别模块6用于对图像中的人脸和文字进行识别，获取人脸对应的身份信息和文字对应的语义信息，所述输出模块7包括语音模块和显示屏，所述语音模块用于播报所述身份信息和语义信息，所述显示屏用于显示所述身份信息和语义信息。
本实施例提供了一种智能眼镜，极大的提升了眼镜的可操作性和功能性，用户通过摄像头获取周围图像，并借助识别模块实现了人脸和文字信息的识别。
优选的，所述触控板2为电容式触控板，所述预设的滑动手势为所述使用者在所述触控板2滑动预设的距离，所述滑动包括横向滑动、纵向滑动和倾斜滑动。
本优选实施例提供了更好的用户操作体验。
优选的，所述预处理模块5包括一次处理单元、二次处理单元和三次处理单元，所述一次处理单元用于将彩色图像转化为灰度图像，所述二次处理单元用于对灰度图像进行锐化处理，所述三次处理单元用于对锐化后的图像进行滤波处理。
本优选实施例实现了图像的准确预处理，为后续图像识别奠定了基础。
优选的，所述一次处理单元用于将彩色图像转化为灰度图像，具体为：RU(x,y)＝0.28RL(x,y)+0.62GP(x,y)+0.1BZ(x,y)，在式子里，(x,y)表示像素点的位置，RU(x,y)表示转化后的灰度图像，RL(x,y)表示彩色图像的红色分量，GP(x,y)表示彩色图像的绿色分量，BZ(x,y)表示彩色图像的蓝色分量；
所述二次处理单元用于对灰度图像进行锐化处理，具体为：采用下式对灰度图像进行处理：
在式子里，[RU(x+1,y)+RU(x-1,y)+RU(x,y+1)+RU(x,y-1)]-4RU(x,y)表示离散拉普拉斯算子，当掩模中心系数大于零时，c＝1，当掩模中心系数大于零时，c＝-1，MH(x,y)表示锐化处理后的图像；
图像转换为灰度图像后，边缘和轮廓的部分会比较模糊，本优选实施例二次处理单元突出了图像中的细节和增强被模糊的细节，加强了图像中目标的边缘和轮廓，方便对图像进行识别和处理；
优选的，所述三次处理单元包括一次处理子单元、二次处理子单元、三次处理子单元和四次处理子单元，所述一次处理子单元用于对锐化后的图像进行滤波，获取一次滤波结果，所述二次处理子单元用于对锐化后的图像进行滤波，获取二次滤波结果，所述三次处理子单元用于根据一次滤波结果和二次滤波结果获取图像的最终滤波结果，所述四次处理子单元用于对图像滤波效果进行评价；
二次处理单元在增强图像细节的同时也会加强图像中的噪声。图像中由于各种原因存在的噪声，有时会被当作目标而分割出来，使分割结果不准确，本优选实施例三次处理单元对噪声进行了有效的消除和对滤波效果进行评价，保证了滤波效果，使后续图像分割后的结果更接近理想结果。
优选的，所述一次处理子单元用于对锐化后的图像进行滤波，具体为： 在式子里，S1为像素点(x,y)的3×3邻域，该邻域不包括(x,y)，N1为邻域S1所包含的像素总数，S2为像素点(x,y)的5×5邻域，该邻域不包括(x,y)，N2为邻域S2所包含的像素总数，DT1(x,y)表示一次滤波结果；所述二次处理子单元用于对锐化后的图像进行滤波，具体为：在式子里，DT2(x,y)表示二次滤波结果；所述三次处理子单元用于根据一次滤波结果和二次滤波结果获取图像的最终滤波结果，在式子里，DT(x,y)表示图像的最终滤波结果。
本优选实施例通过一次处理子单元、二次处理子单元和三次处理子单元，实现了图像最终滤波结果的准确获取，具体的，一次处理子单元计算简单，处理速度快，通过选择合适的邻域，较好的消除了高斯噪声，得到了良好的一次滤波结果，二次处理子单元较好的消除了随机噪声，得到了良好的二次滤波结果，三次处理子单元融合一次滤波结果和二次滤波结果，得到的最终滤波结果兼具一次滤波结果和二次滤波结果的优点，具有良好的滤波效果。
优选的，所述四次处理子单元用于对图像滤波效果进行评价，具体为：根据图像最终滤波结果对图像进行分割，将分割后的图像与参考图像对比，像素分类错误率为AD，定义滤波评价因子GT：GT＝4+e2(RX-AD)+(RX-AD)3，在式子里，GT表示滤波评价因子，RX表示图像最终滤波结果的峰值信噪比；评价因子越大，表示滤波效果越好。
本优选实施例四次处理子单元实现了对图像滤波效果的评价，从而保证了图像滤波效果，为后续道路准确识别奠定了基础。
采用本发明具有识别功能的智能眼镜出行，选取5个场景进行实验，分别为场景1、场景2、场景3、场景4、场景5，对人员识别率和文字识别率进行统计，同现有智能眼镜相比，产生的有益效果如下表所示：
人员识别率提高 文字识别率提高
场景1 29％ 27％
场景2 27％ 26％
场景3 26％ 26％
场景4 25％ 24％
场景5 24％ 22％
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.一种具有识别功能的智能眼镜，其特征在于，包括眼镜本体和设置于眼镜本体上的触控板、主控芯片、摄像头、预处理模块、识别模块和输出模块，所述触控板用于检测使用者在触控板上的手势特征，当检测到使用者在所述触控板上的手势特征为预设的滑动手势时，向所述主控芯片发送信号，所述主控芯片在接收到所述信号后，向所述摄像头发出拍照指令，控制摄像头进行拍照，所述预处理模块用于对摄像头拍摄的图像进行预处理，所述图像识别模块用于对图像中的人脸和文字进行识别，获取人脸对应的身份信息和文字对应的语义信息，所述输出模块包括语音模块和显示屏，所述语音模块用于播报所述身份信息和语义信息，所述显示屏用于显示所述身份信息和语义信息。
2.根据权利要求1所述的具有识别功能的智能眼镜，其特征在于，所述触控板为电容式触控板，所述预设的滑动手势为所述使用者在所述触控板滑动预设的距离，所述滑动包括横向滑动、纵向滑动和倾斜滑动。
3.根据权利要求2所述的具有识别功能的智能眼镜，其特征在于，所述预处理模块包括一次处理单元、二次处理单元和三次处理单元，所述一次处理单元用于将彩色图像转化为灰度图像，所述二次处理单元用于对灰度图像进行锐化处理，所述三次处理单元用于对锐化后的图像进行滤波处理。
4.根据权利要求3所述的具有识别功能的智能眼镜，其特征在于，所述一次处理单元用于将彩色图像转化为灰度图像，具体为：RU(x,y)＝0.28RL(x,y)+0.62GP(x,y)+0.1BZ(x,y)，在式子里，(x,y)表示像素点的位置，RU(x,y)表示转化后的灰度图像，RL(x,y)表示彩色图像的红色分量，GP(x,y)表示彩色图像的绿色分量，BZ(x,y)表示彩色图像的蓝色分量；
所述二次处理单元用于对灰度图像进行锐化处理，具体为：采用下式对灰度图像进行处理：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>M</mi> <mi>H</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mroot> <mrow> <msup> <mrow> <mo>{</mo> <mo>&amp;lsqb;</mo> <mi>R</mi> <mi>U</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>R</mi> <mi>U</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <mi>R</mi> <mi>U</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>+</mo> <mi>R</mi> <mi>U</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>-</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mn>4</mn> <mi>R</mi> <mi>U</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>}</mo> </mrow> <mn>3</mn> </msup> <mo>+</mo> <mn>2</mn> </mrow> <mn>3</mn> </mroot> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>c</mi> <mi>R</mi> <mi>U</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced>
在式子里，[RU(x+1,y)+RU(x-1,y)+RU(x,y+1)+RU(x,y-1)]-4RU(x,y)表示离散拉普拉斯算子，当掩模中心系数大于零时，c＝1，当掩模中心系数大于零时，c＝-1，MH(x,y)表示锐化处理后的图像。
5.根据权利要求4所述的具有识别功能的智能眼镜，其特征在于，所述三次处理单元包括一次处理子单元、二次处理子单元、三次处理子单元和四次处理子单元，所述一次处理子单元用于对锐化后的图像进行滤波，获取一次滤波结果，所述二次处理子单元用于对锐化后的图像进行滤波，获取二次滤波结果，所述三次处理子单元用于根据一次滤波结果和二次滤波结果获取图像的最终滤波结果，所述四次处理子单元用于对图像滤波效果进行评价。
CN201810090511.5A 2018-01-30 2018-01-30 一种具有识别功能的智能眼镜 Pending CN108052935A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810090511.5A CN108052935A (zh) 2018-01-30 2018-01-30 一种具有识别功能的智能眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810090511.5A CN108052935A (zh) 2018-01-30 2018-01-30 一种具有识别功能的智能眼镜

Publications (1)

Publication Number Publication Date
CN108052935A true CN108052935A (zh) 2018-05-18

Family

ID=62125207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810090511.5A Pending CN108052935A (zh) 2018-01-30 2018-01-30 一种具有识别功能的智能眼镜

Country Status (1)

Country Link
CN (1) CN108052935A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960200A (zh) * 2018-07-31 2018-12-07 北京微播视界科技有限公司 一种基于智能交互的数据处理方法及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120155719A1 (en) * 2010-12-21 2012-06-21 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body
US20150193649A1 (en) * 2012-02-05 2015-07-09 Apple Inc. Enhanced face detection using depth information
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
CN105893993A (zh) * 2016-06-07 2016-08-24 深圳创龙智新科技有限公司 智能眼镜
CN106444086A (zh) * 2016-10-27 2017-02-22 吴元旦 一种指环控制的智能眼镜及其使用方法
CN206102931U (zh) * 2016-07-22 2017-04-19 西北师范大学 一种盲人智能语音辅助眼镜
CN107238948A (zh) * 2017-08-10 2017-10-10 湖州健凯康复产品有限公司 一种用于阿尔茨海默症病人的智能眼镜

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120155719A1 (en) * 2010-12-21 2012-06-21 Electronics And Telecommunications Research Institute Apparatus and method for detecting upper body
US20150193649A1 (en) * 2012-02-05 2015-07-09 Apple Inc. Enhanced face detection using depth information
CN104880835A (zh) * 2015-05-13 2015-09-02 浙江吉利控股集团有限公司 智能眼镜
CN105893993A (zh) * 2016-06-07 2016-08-24 深圳创龙智新科技有限公司 智能眼镜
CN206102931U (zh) * 2016-07-22 2017-04-19 西北师范大学 一种盲人智能语音辅助眼镜
CN106444086A (zh) * 2016-10-27 2017-02-22 吴元旦 一种指环控制的智能眼镜及其使用方法
CN107238948A (zh) * 2017-08-10 2017-10-10 湖州健凯康复产品有限公司 一种用于阿尔茨海默症病人的智能眼镜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960200A (zh) * 2018-07-31 2018-12-07 北京微播视界科技有限公司 一种基于智能交互的数据处理方法及电子设备

Similar Documents

Publication Publication Date Title
JP6934253B2 (ja) 外科織物内の血液構成要素の量の評価方法
CN102831392B (zh) 一种远距离虹膜跟踪与采集装置及其方法
CN103093210B (zh) 人脸识别中眼镜的鉴别方法及装置
CN104813258B (zh) 数据输入装置
CN104200480B (zh) 一种应用于智能终端的图像模糊度评价方法及系统
CN104364733B (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
CN109255324A (zh) 手势处理方法、交互控制方法及设备
CN103902958A (zh) 人脸识别的方法
CN108764093B (zh) 基于相机的非接触指纹图像采集装置及方法
CN105389574B (zh) 一种检测图片中人眼虹膜的方法及系统
CN108875485A (zh) 一种底图录入方法、装置及系统
CN103793719A (zh) 一种基于人眼定位的单目测距方法和系统
CN110378946A (zh) 深度图处理方法、装置以及电子设备
CN109961426A (zh) 一种人脸皮肤肤质的检测方法
CN104021382A (zh) 一种眼部图像采集方法及其系统
CN103472915B (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN109359577A (zh) 一种基于机器学习的复杂背景下人数检测系统
CN106297755A (zh) 一种用于乐谱图像识别的电子设备及识别方法
CN107798654A (zh) 图像磨皮方法及装置、存储介质
JP2016530000A (ja) 顔特徴を測定するシステム及び方法
CN105180802B (zh) 一种物体尺寸信息识别方法和装置
DE102022208700A1 (de) Elektronische vorrichtungen mit körperzusammensetzungsanalyseschaltung
CN107169996A (zh) 一种视频中动态人脸识别方法
CN104866826B (zh) 一种基于knn和像素比梯度特征的静态手语识别方法
CN104898971B (zh) 一种基于视线跟踪技术的鼠标指针控制方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication