CN112329546A - 一种基于深度学习的眼睛高度测量方法 - Google Patents
一种基于深度学习的眼睛高度测量方法 Download PDFInfo
- Publication number
- CN112329546A CN112329546A CN202011102430.6A CN202011102430A CN112329546A CN 112329546 A CN112329546 A CN 112329546A CN 202011102430 A CN202011102430 A CN 202011102430A CN 112329546 A CN112329546 A CN 112329546A
- Authority
- CN
- China
- Prior art keywords
- eye
- neural network
- image
- network model
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013135 deep learning Methods 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 238000003062 neural network model Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 claims description 11
- 238000000691 measurement method Methods 0.000 claims 2
- 238000013528 artificial neural network Methods 0.000 abstract description 15
- 230000001815 facial effect Effects 0.000 abstract description 2
- 238000002316 cosmetic surgery Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 12
- 238000012795 verification Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 208000004130 Blepharoptosis Diseases 0.000 description 1
- 206010015829 Extraocular muscle paresis Diseases 0.000 description 1
- 206010015995 Eyelid ptosis Diseases 0.000 description 1
- 235000013559 Schnittsellerie Nutrition 0.000 description 1
- 244000169997 Schnittsellerie Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 208000001882 hereditary congenital 1 ptosis Diseases 0.000 description 1
- 201000003004 ptosis Diseases 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Abstract
本发明公开了一种基于深度学习的眼睛高度测量方法，具体包括数据预处理，根据不同的神经网络重设数据集中图片的像素；图像分割，将图片输入神经网络中，分割得到仅包括眼睛部分的图像；眼部图像处理，检测提取眼部图像中的眼部轮廓线，分别通过作最小外接矩形与中垂线交点距离的方法，得到眼睛高度；最后输出结果，求取两个网络得到眼睛高度的平均值，作为最后的结果。与现有技术相比，本发明具有操作方便、过程简单、结果准确的优点，可以广泛应用于需要进行眼部外观整形手术的术前资料采集中，并且经过神经网络分割后的图像数据仅包含用户眼睛部分的图像，去除了其他面部特征，具有一定的安全性，可以保障用户隐私。
Description
技术领域
本发明属于人工智能领域，具体涉及一种基于深度学习的眼睛高度测量方法。
背景技术
眼睛高度是指人在身体直立、眼睛向前平视时，上、下眼皮之间的距离。先天性的眼睑下垂以及眼肌无力引起的眼睑下垂都会使人的眼睛高度变小。眼睛高度不仅影响一个人的精神与外貌，还会影响视线。据统计，全国每年进行眼睛外观修正手术的人数达到数万人。而在资料收集的过程中，需要用户提供眼睛的高度、宽度等数据。
现有技术中，通常需要用户到达指定地点后，由专业人员使用尺子等测量工具对用户的眼部数据进行测量。然而在测量过程中，要求被测量人员长时间静止端坐，被测人员的轻微动作都会严重影响测量结果的准确性，对年龄较小的被测量人员来说，测量条件比较苛刻。同时，对测量人员的技术以及测量工具的精度，也有很高的要求。
发明内容
针对现有技术的不足，本发明提出了一种基于深度学习的眼睛高度测量方法，利用两个神经网络分别分割拍摄的用户照片后，对用户的眼睛高度进行测量，对两个网络分割后的测量结果取平均值，作为最终测得的用户眼睛高度。提高测量结果的准确度的同时，减少了测量过程花费的时间。
一种基于深度学习的眼睛高度测量方法，具体包括以下步骤：
步骤一、数据预处理
将原始图片的像素重设为320*480与224*224两种像素尺寸，分别得到测试集1与测试集2。
步骤二、图像分割
将测试集1输入训练好的FPN神经网络模型，将测试集2输入训练好的UNET神经网络模型中，两个网络的输出掩模只包含分割后得到的眼部图像。
步骤三、眼部图像处理
检测FPN神经网络模型输出的眼部图像中的眼部轮廓，根据轮廓线绘制最小外接矩形，将矩形的宽度作为FPN神经网络模型得到的眼睛高度。检测UNET神经网络模型输出的眼部图像中的眼部轮廓，提取眼部轮廓后找出轮廓的最左与最右像素点，作最左与最右像素点连线的中垂线，求出该中垂线与轮廓两个交点间的距离作为UNET神经网络模型得到的眼睛高度。
步骤四、输出结果
将步骤三中两个网络模型得到的眼睛高度相加后取平均值，作为最终测量得到的眼睛高度。
本发明具有以下有益效果：
1、将拍摄的用户图片输入神经网络进行分割后，再计算得出眼睛高度，过程简单、结果准确，改进了手工测量耗时长、对被测量者要求高以及测量结果精度低的缺点。
2、通过分别对两个网络的切割得到的眼部图像作最小外接矩形和作内外眼角中垂线的方法，间接计算得到眼睛高度，有效避免了拍摄角度不水平或照片旋转导致的测量误差。
3、神经网络分割后的图片仅包含用户的眼部部分，而不包含其他面部特征，不会造成用户隐私的泄露。
附图说明
图1为基于深度学习的眼睛高度测量方法流程图；
图2为实施例中深度学习模型详细结构图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
本实施例中的硬件环境为：8vCPU/64G内存，GPU为V100，软件运行环境为：CUDA:9.2.148、python3.7、pytorch 1.0.1.post2。
如图1所示，具体包括以下步骤：
步骤一、数据集划分
将拍摄的用户原始图片划分为训练集、验证集以及测试集；
步骤二、数据预处理
将原始数据集中的图片像素重设为320*480与224*224两种像素尺寸，分别得到训练集1、验证集1、测试集1与训练集2、验证集2、测试集2。
步骤三、神经网络训练
将训练集1输入预训练好的FPN神经网络，将训练集2输入预训练好的UNET神经网络中，两个网络的预训练权重均来自于ImageNet，以迁移学习的方式对两个神经网络带标签数据的监督学习训练。所述带标签数据为医生标记的数据。所述监督学习训练为将两个网络输出的数据放大到原尺寸后与医生标记的数据进行比较，分别得到两个网络各自的损失值、语义分割值、计算精确度等指标。
对两个神经网络进行100次的监督训练，然后分别将验证集1和验证集2输入训练后的FPN神经网络和UNET神经网络，验证训练效果，最终得到FPN网络的损失值loss1＝0.04017、语义分割值iou_score1＝0.9456，UNET网络的损失值loss2＝0.03751、语义分割值iou_score2＝0.09323，保存参数,作为求取测试集眼睛高度的神经网络模型。
步骤四、图像分割
将测试集1与测试集2分别输入步骤三训练后保存的FPN神经网络模型与UNET神经网络模型中，网络输出为分割后的眼部图像。
步骤五、眼部图像处理
(1)如图2所示，使用OpenCV检测FPN神经网络输出的眼部轮廓，画出轮廓的最小外接矩形，返回矩形的框，作为FPN网络测得的眼睛高度。
(2)使用OpenCV提取UNET神经网络输出的眼部轮廓，找出轮廓的最左与最右的像素点，做两点连线的中垂线，求取中垂线与轮廓的交点直接的距离，作为UNET网络测得的眼睛高度。
步骤六、输出结果
将步骤六中两个网络得到的眼睛高度相加后取平均值，作为最终的输出结果。
Claims (3)
1.一种基于深度学习的眼睛高度测量方法，其特征在于：具体包括以下步骤：
步骤一、数据预处理
将原始图片的像素重设为320*480与224*224两种像素尺寸，分别得到测试集1与测试集2；
步骤二、图像分割
将测试集1输入训练好的FPN神经网络模型，将测试集2输入训练好的UNET神经网络模型中，两个网络的输出掩模为分割后的只包含眼部的图像；
步骤三、眼部图像处理
检测FPN神经网络模型输出的眼部图像中的眼部轮廓，根据轮廓线绘制最小外接矩形，将矩形的宽度作为FPN神经网络模型得到的眼睛高度；检测UNET神经网络模型输出的眼部图像中的眼部轮廓，提取眼部轮廓后找出轮廓的最左与最右像素点，作最左与最右像素点连线的中垂线，求出该中垂线与轮廓两个交点间的距离作为UNET神经网络模型得到的眼睛高度；
步骤四、输出结果
将步骤三中两个网络模型得到的眼睛高度相加后取平均值，作为最终测量得到眼睛高度。
2.如权利要求1所述一种基于深度学习的眼睛高度测量方法，其特征在于：步骤二中所述训练好的FPN神经网络模型的损失值loss1＝0.04017、语义分割值iou_score2＝0.9456，UNET神经网络模型损失值loss2＝0.03751、语义分割值iou_score2＝0.09323。
3.如权利要求1所述一种基于深度学习的眼睛高度测量方法，其特征在于：步骤三中通过OpenCV检测眼部图像轮廓与绘制最小外接矩形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011102430.6A CN112329546A (zh) | 2020-10-15 | 2020-10-15 | 一种基于深度学习的眼睛高度测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011102430.6A CN112329546A (zh) | 2020-10-15 | 2020-10-15 | 一种基于深度学习的眼睛高度测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112329546A true CN112329546A (zh) | 2021-02-05 |
Family
ID=74313757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011102430.6A Pending CN112329546A (zh) | 2020-10-15 | 2020-10-15 | 一种基于深度学习的眼睛高度测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112329546A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977605A (zh) * | 2017-11-08 | 2018-05-01 | 清华大学 | 基于深度学习的眼部区域边界特征提取方法及装置 |
| CN109344742A (zh) * | 2018-09-14 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 特征点定位方法、装置、存储介质和计算机设备 |
| AU2019100354A4 (en) * | 2019-04-04 | 2019-05-16 | Chen, Mingjie Mr | An animal image search system based on convolutional neural network |
| CN111563435A (zh) * | 2020-04-28 | 2020-08-21 | 深圳市优必选科技股份有限公司 | 用户的睡眠状态检测方法及装置 |
-
2020
- 2020-10-15 CN CN202011102430.6A patent/CN112329546A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977605A (zh) * | 2017-11-08 | 2018-05-01 | 清华大学 | 基于深度学习的眼部区域边界特征提取方法及装置 |
| CN109344742A (zh) * | 2018-09-14 | 2019-02-15 | 腾讯科技（深圳）有限公司 | 特征点定位方法、装置、存储介质和计算机设备 |
| AU2019100354A4 (en) * | 2019-04-04 | 2019-05-16 | Chen, Mingjie Mr | An animal image search system based on convolutional neural network |
| CN111563435A (zh) * | 2020-04-28 | 2020-08-21 | 深圳市优必选科技股份有限公司 | 用户的睡眠状态检测方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10068128B2 (en) | Face key point positioning method and terminal | |
| CN108108684B (zh) | 一种融合视线检测的注意力检测方法 | |
| CN111882579A (zh) | 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备 | |
| CN109815826B (zh) | 人脸属性模型的生成方法及装置 | |
| CN107895160A (zh) | 人脸检测与识别装置及方法 | |
| CN110728225B (zh) | 一种用于考勤的高速人脸搜索方法 | |
| CN106991390A (zh) | 一种基于深度学习的手持人证比对系统及方法 | |
| Cai et al. | A pointer meter recognition method based on virtual sample generation technology | |
| CN105913487A (zh) | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 | |
| CN108615256B (zh) | 一种人脸三维重建方法及装置 | |
| CN105740779A (zh) | 人脸活体检测的方法和装置 | |
| CN106650574A (zh) | 基于PCANet的人脸识别方法 | |
| CN109409298A (zh) | 一种基于视频处理的视线追踪方法 | |
| CN108256481A (zh) | 一种利用身体上下文的行人头部检测方法 | |
| CN113139439B (zh) | 一种基于人脸识别的在线学习专注度评价方法及装置 | |
| CN112883867A (zh) | 一种基于图像情感分析的学生在线学习评估方法及系统 | |
| CN110472582A (zh) | 基于眼部识别的3d人脸识别方法、装置和终端 | |
| CN110956071A (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| CN112507963A (zh) | 一种批量口罩人脸样本自动生成以及口罩人脸识别方法 | |
| CN110472546B (zh) | 一种婴幼儿非接触式眼动特征提取装置及方法 | |
| CN111680577A (zh) | 人脸检测方法和装置 | |
| CN110378315A (zh) | 一种基于脸部图像的视线角度估计方法 | |
| CN106446805A (zh) | 一种眼底照中视杯的分割方法及系统 | |
| CN106980845B (zh) | 基于结构化建模的人脸关键点定位方法 | |
| CN110135391A (zh) | 使用计算机选配眼镜框的程序和眼镜框选配系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |