CN113901919A - 一种智能眼镜用脸部识别装置及其方法 - Google Patents
一种智能眼镜用脸部识别装置及其方法 Download PDFInfo
- Publication number
- CN113901919A CN113901919A CN202111173399.XA CN202111173399A CN113901919A CN 113901919 A CN113901919 A CN 113901919A CN 202111173399 A CN202111173399 A CN 202111173399A CN 113901919 A CN113901919 A CN 113901919A
- Authority
- CN
- China
- Prior art keywords
- intelligent glasses
- camera
- face
- face recognition
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000008921 facial expression Effects 0.000 claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000014509 gene expression Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 239000004984 smart glass Substances 0.000 description 8
- 230000008451 emotion Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种智能眼镜用脸部识别装置及其方法，属于智能眼镜技术领域；所述装置安装于智能眼镜两侧；所述装置包括装置本体、装置前端突出部、活动装置、第一摄像头、第二摄像头；本发明的优点在于，将人脸划分为4个区域，利用四枚角镜头实现四个区域的实施捕捉，通过捕捉的图像进行实时处理，最后实现表情的识别，减轻了实时计算的压力，同时保证超广角镜头过大的失真导致识别精度的降低；本发明的创新点在于利用多枚镜头的组合拍摄，实现智能眼镜上对用户人脸表情的研判，将其映射至虚拟人物，解决现有技术中需要较大的设备的问题。
Description
技术领域
本发明属于智能眼镜技术领域，特别涉及一种智能眼镜用脸部识别装置及其方法。
背景技术
随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。人脸表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及合成动画等领域有很大的潜在应用价值。
但事实上现有的技术中都将研究重点集中在如何提高表情识别算法上，对于智能眼镜如何实现本体的人脸识别，进行实现虚拟现实互动的研究较少，因此急需一种智能眼镜用脸部识别装置及其方法；这是因为随着智能眼镜的热潮，智能眼镜的用处将不再仅仅局限于消息提醒、拍摄的等状况，将作为虚拟现实的接入口实现更多的功能。
发明内容
(一)要解决的技术问题
提出一种智能眼镜用脸部识别装置及其方法填补现有技术的空白。
(二)技术方案
本发明通过如下技术方案实现：一种智能眼镜用脸部识别装置；所述装置安装于智能眼镜两侧；所述装置包括装置本体、装置前端突出部、活动装置、第一摄像头、第二摄像头；
所述装置本体斜向前延伸出装置前端突出部；
所述装置前端突出部设有第一摄像头、第二摄像头；
所述装置通过活动装置与智能眼镜活动连接；
所述装置本体后端设有电源指示灯、连接提示灯、装置开机按钮、数据传输口；
所述装置内部还包括无线连接模块、电源模块、微处理器、存储单元。
作为上述方案的进一步说明，所述装置本体斜向前延伸出装置前端突出部的角度为120°-130°。
作为上述方案的进一步说明，第一摄像头、第二摄像头之间间距为1mm-50mm；所述第一摄像头、第二摄像头为超广角镜头。
作为上述方案的进一步说明，所述活动装置为滑扣，连接于智能眼镜镜腿，实现装置前后滑动。
作为上述方案的进一步说明，所述活动装置为铰链，通过铰链实现装置翻转。
本发明还提出一种智能眼镜用脸部识别方法，所述方法包括如下步骤：
步骤100：按下装置启动开关，装置初始化；
步骤200：将装置的前端突出部移至用户脸部前端
步骤300：开始进行实时捕捉；
步骤400：将捕捉的图像进行拼接，捕捉关键点；
步骤500：通过关键点的识别判断脸部表情；
步骤600：通过表面及关键点的变化映射至虚拟人物。
作为上述方案的进一步说明，所述步骤400还包括如下步骤：
步骤410：每个摄像头分别捕捉脸部1/4的区域，捕捉人脸四张图像；
步骤420：将图像进行失真校正；
步骤430：将图像进行拼接形成完整人脸；
步骤450：通过算法识别脸部关键点；
步骤460：利用图像分割算法提取脸部区域。
作为上述方案的进一步说明，所述步骤500具体的采用算法对脸部表情进行研判；具体的包括如下步骤：
步骤510：算法进行局部外观特征提取外观特征；
步骤520：算法提取脸部几何特征；
步骤530：特征融合及预处理：
步骤540：利用算法对特征进行分类。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例的整体装置示意图；
图2为本发明实施例智能眼镜用脸部识别装置细节图；
图3为本发明实施例智能眼镜用脸部识别装置细节图；
图4为本发明实施例中脸部图像抓取的分区示意图；
图中。智能眼镜(1)、装置(2)、装置本体(21)、装置前端突出部(22)、活动装置(23)、第一摄像头(24)、第二摄像头(25)、电源指示灯(211)、连接提示灯(212)、装置开机按钮(213)、数据传输口(214)；
(三)有益效果
本发明相对于现有技术，具有以下有益效果：本发明的优点在于，将人脸划分为4个区域，利用四枚角镜头实现四个区域的实施捕捉，通过捕捉的图像进行实时处理，最后实现表情的识别，实际上受限于现有技术的不足，在本发明中人脸识别实际需要抓取的部位是眼睛、眉毛、嘴部三个区域，对于脸部其他的细节选择性放弃，其原因在于本发明的目的是为了实现与虚拟人物脸部的联动，只需要眉毛、眼睛、嘴部三个部分则可以完成，其优点在于减轻了实时计算的压力，同时保证超广角镜头过大的失真导致识别精度的降低；虽然本发明仍有上述的限制，但本发明的创新点在于利用多枚镜头的组合拍摄，实现智能眼镜上对用户人脸表情的研判，将其映射至虚拟人物，解决现有技术中需要较大的设备实现上述功能，如Kinect等。
具体实施方式
实施例
一种智能眼镜用脸部识别装置；
所述装置安装于智能眼镜两侧；所述装置包括装置本体、装置前端突出部、活动装置、第一摄像头、第二摄像头；
所述装置本体斜向前延伸出装置前端突出部；所述装置本体斜向前延伸出装置前端突出部的角度为120°。需要进一步说明的是该角度设置是为了能够使得第一摄像头、第二摄像头能够最大程度的辐照用户的脸部区域，实现脸部表情的抓取；
所述装置前端突出部设有第一摄像头、第二摄像头；第一摄像头、第二摄像头之间间距为20mm；所述第一摄像头、第二摄像头为超广角镜头；需要进一步说明的是该间距设置及超广角镜头是为了能够使得第一摄像头、第二摄像头能够最大程度的辐照用户的脸部区域，实现脸部表情的抓取；本实施例采用的是120°的超广角镜头；
所述装置通过活动装置与智能眼镜活动连接；需要说明的时候在本实施例中采用滑扣的方式进行连接，可以实现装置的前后滑动，当需要进行识别时，将装置推出进行识别；
所述装置本体后端设有电源指示灯、连接提示灯、装置开机按钮、数据传输口；需要进一步说明的是在本实施例中采用的是滑扣连接，数据传输口的目的是用来连接外部电源实现充电、数据的提存；需要特别说明的是装置内部包括无线连接模块、电源模块、微处理器、存储单元；数据传输口还用于外部供电，包括连接智能眼镜进行供电、连接外部电源进行供电。
本发明还提出一种智能眼镜用脸部识别方法，所述方法包括如下步骤：
步骤100：按下装置启动开关，装置初始化；
步骤200：将装置的前端突出部移至用户脸部前端；需要进一步说明的是在本实施例中用的是滑扣，只需要装置向前推出即可，前端突出部移至用户脸部前端之间的距离为3cm-10cm，具体的视滑扣的长度而定；在本实施例中由于使用者的脸部较小因此设定距离为5cm；
步骤300：开始进行实时捕捉；实时捕捉的帧率为60fps，由于数据量传输较大，在本实施例中采用数据连接口与智能眼镜进行连接，具体的通过数据连接口插入数据线，数据线另一端连接智能眼镜实现配对；需要进一步说明的是此智能眼镜本体需设有数据传输接口。
步骤400：将捕捉的图像进行拼接，捕捉关键点；
具体的包括如下步骤：
步骤410：每个摄像头分别捕捉脸部1/4的区域，捕捉人脸四张图像；请参阅图4，脸部识别装置分别安装于智能眼镜两侧，每个装置的两个摄像头获取半侧的图像，四张图象对应图中A、B、C、D四个图像，由于为了保证体积的大小所以使用的是超广角镜头，因此拼接前需要完成下一步；
步骤420：将图像进行失真校正；
步骤430：将图像进行拼接形成完整人脸；
步骤450：通过算法识别脸部关键点；在本实施例中采用的是AAM的人脸特征点定位方法，其优点在于实时性相较于ASM算法而言更具优势，而本发明的目的在于实施捕捉，AAM算法为现有技术，在此步骤不再做过多的赘述。
步骤460：利用图像分割算法提取脸部区域。
步骤500：通过关键点的识别判断脸部表情；
所述步骤500具体的采用算法对脸部表情进行研判；具体的包括如下步骤：
步骤510：算法进行局部外观特征提取外观特征；
步骤520：算法提取脸部几何特征；
步骤530：特征融合及预处理：
步骤540：利用算法对特征进行分类。
需要进一步说明的是步骤510采用的是LDP算法，步骤520是基于步骤400的AAM算法进行实现，可以说先完成步骤400实现人脸特征点的识别，在基于识别的基础上联合LPD算法实现特征融合，最后利用SVM算法实现人脸的特征分类，上述算法都是现有技术，因此在本步骤中不再进行赘述。需要进一步说明的是上述的算法只是为了更为简便的解释本发明的原理及目的，并不意味着本发明仅仅基于上述算法进行的。
步骤600：通过表面及关键点的变化映射至虚拟人物。
本发明的优点在于，将人脸划分为4个区域，利用四枚角镜头实现四个区域的实施捕捉，通过捕捉的图像进行实时处理，最后实现表情的识别，实际上受限于现有技术的不足，在本发明中人脸识别实际需要抓取的部位是眼睛、眉毛、嘴部三个区域，对于脸部其他的细节选择性放弃，其原因在于本发明的目的是为了实现与虚拟人物脸部的联动，只需要眉毛、眼睛、嘴部三个部分则可以完成，其优点在于减轻了实时计算的压力，同时保证超广角镜头过大的失真导致识别精度的降低；虽然本发明仍有上述的限制，但本发明的创新点在于利用多枚镜头的组合拍摄，实现智能眼镜上对用户人脸表情的研判，将其映射至虚拟人物，解决现有技术中需要较大的设备实现上述功能，如Kinect等。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (8)
1.一种智能眼镜用脸部识别装置；所述装置(2)安装于智能眼镜(1)两侧；所述装置(2)包括装置本体(21)、装置前端突出部(22)、活动装置(23)、第一摄像头(24)、第二摄像头(25)；其特征在于：
所述装置本体(21)斜向前延伸出装置前端突出部(22)；
所述装置前端突出部(22)设有第一摄像头(24)、第二摄像头(25)；
所述装置(2)通过活动装置(23)与智能眼镜(1)活动连接；
所述装置本体(21)后端设有电源指示灯(211)、连接提示灯(212)、装置开机按钮(213)、数据传输口(214)；
所述装置(2)内部还包括无线连接模块、电源模块、微处理器、存储单元。
2.如权利要求1所述的一种智能眼镜用脸部识别装置，其特征在于：所述装置本体(21)斜向前延伸出装置前端突出部(22)的角度为120°-130°。
3.如权利要求1所述的一种智能眼镜用脸部识别装置，其特征在于：第一摄像头(24)、第二摄像头(25)之间间距为1mm-50mm；所述第一摄像头(24)、第二摄像头(25)为超广角镜头。
4.如权利要求1所述的一种智能眼镜用脸部识别装置，其特征在于：所述活动装置(23)为滑扣，连接于智能眼镜(1)镜腿，实现装置(2)前后滑动。
5.如权利要求1所述的一种智能眼镜用脸部识别装置，其特征在于：所述活动装置(23)为铰链，通过铰链实现装置(2)翻转。
6.一种智能眼镜用脸部识别方法，其特征在于：所述方法包括如下步骤：
步骤100：按下装置启动开关，装置初始化；
步骤200：将装置的前端突出部移至用户脸部前端
步骤300：开始进行实时捕捉；
步骤400：将捕捉的图像进行拼接，捕捉关键点；
步骤500：通过关键点的识别判断脸部表情；
步骤600：通过表面及关键点的变化映射至虚拟人物。
7.如权利要求6所述的一种智能眼镜用脸部识别方法，其特征在于：所述步骤400还包括如下步骤：
步骤410：每个摄像头分别捕捉脸部1/4的区域，捕捉人脸四张图像；
步骤420：将图像进行失真校正；
步骤430：将图像进行拼接形成完整人脸；
步骤450：通过算法识别脸部关键点；
步骤460：利用图像分割算法提取脸部区域。
8.如权利要求6所述的一种智能眼镜用脸部识别方法，其特征在于：所述步骤500具体的采用算法对脸部表情进行研判；具体的包括如下步骤：
步骤510：算法进行局部外观特征提取外观特征；
步骤520：算法提取脸部几何特征；
步骤530：特征融合及预处理：
步骤540：利用算法对特征进行分类。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111173399.XA CN113901919A (zh) | 2021-10-08 | 2021-10-08 | 一种智能眼镜用脸部识别装置及其方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111173399.XA CN113901919A (zh) | 2021-10-08 | 2021-10-08 | 一种智能眼镜用脸部识别装置及其方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113901919A true CN113901919A (zh) | 2022-01-07 |
Family
ID=79190508
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111173399.XA Pending CN113901919A (zh) | 2021-10-08 | 2021-10-08 | 一种智能眼镜用脸部识别装置及其方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113901919A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103339926A (zh) * | 2011-11-24 | 2013-10-02 | 株式会社Ntt都科摩 | 表情输出装置和表情输出方法 |
| JP5720068B1 (ja) * | 2014-10-27 | 2015-05-20 | 治幸 岩田 | 自己撮影機能付スマートグラス |
| CN105954878A (zh) * | 2016-07-19 | 2016-09-21 | 苏州市景荣科技有限公司 | 一种多功能智能眼镜 |
| WO2020031125A1 (en) * | 2018-08-10 | 2020-02-13 | Bryan Williams | Eyewear for simulating face-to-face communication |
| CN213634032U (zh) * | 2020-09-23 | 2021-07-06 | 科大讯飞股份有限公司 | 用于情绪识别的眼镜 |
-
2021
- 2021-10-08 CN CN202111173399.XA patent/CN113901919A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103339926A (zh) * | 2011-11-24 | 2013-10-02 | 株式会社Ntt都科摩 | 表情输出装置和表情输出方法 |
| JP5720068B1 (ja) * | 2014-10-27 | 2015-05-20 | 治幸 岩田 | 自己撮影機能付スマートグラス |
| CN105954878A (zh) * | 2016-07-19 | 2016-09-21 | 苏州市景荣科技有限公司 | 一种多功能智能眼镜 |
| WO2020031125A1 (en) * | 2018-08-10 | 2020-02-13 | Bryan Williams | Eyewear for simulating face-to-face communication |
| CN213634032U (zh) * | 2020-09-23 | 2021-07-06 | 科大讯飞股份有限公司 | 用于情绪识别的眼镜 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101317047B1 (ko) | 얼굴표정을 이용한 감정인식 장치 및 그 제어방법 | |
| CN102332095B (zh) | 一种人脸运动跟踪方法和系统以及一种增强现实方法 | |
| CN107341827B (zh) | 一种视频处理方法、装置和存储介质 | |
| WO2020078027A1 (zh) | 一种图像处理方法、装置与设备 | |
| US11703941B2 (en) | Information processing system, information processing method, and program | |
| CN105824421A (zh) | 基于全息投影交互方式的多模态生物识别系统及方法 | |
| CN109937434B (zh) | 图像处理方法、装置、终端和存储介质 | |
| CN102854983A (zh) | 一种基于手势识别的人机交互方法 | |
| CN103988503A (zh) | 使用预捕获图像运动的场景分割 | |
| CN106534651A (zh) | 一种具有拍摄功能的终端设备 | |
| CN109977846B (zh) | 一种基于近红外单目摄像的活体检测方法及系统 | |
| Ganesh et al. | Artificial intelligence based smart facial expression recognition remote control system | |
| Ouanan et al. | Facial landmark localization: Past, present and future | |
| CN112085647B (zh) | 一种人脸校正方法及电子设备 | |
| Betancourt et al. | Towards a unified framework for hand-based methods in first person vision | |
| CN112257513A (zh) | 一种手语视频翻译模型的训练方法、翻译方法及系统 | |
| CN106067167A (zh) | 图像处理方法及装置 | |
| CN107368775A (zh) | 一种虹膜识别过程中的预览方法及装置 | |
| Chen et al. | Lisee: A headphone that provides all-day assistance for blind and low-vision users to reach surrounding objects | |
| CN106774827A (zh) | 一种投影交互方法、投影交互装置和智能终端 | |
| CN112330753B (zh) | 一种增强现实系统的目标检测方法 | |
| CN113901919A (zh) | 一种智能眼镜用脸部识别装置及其方法 | |
| CN209044219U (zh) | 一种基于眼球追踪技术的放大式眼镜 | |
| CN108337466B (zh) | 一种视频通话方法及电子设备 | |
| CN205485927U (zh) | 基于全息投影交互方式的多模态生物识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |