CN112052721A - 基于深度学习的眨眼波形图生成方法、装置及设备 - Google Patents
基于深度学习的眨眼波形图生成方法、装置及设备 Download PDFInfo
- Publication number
- CN112052721A CN112052721A CN202010687747.4A CN202010687747A CN112052721A CN 112052721 A CN112052721 A CN 112052721A CN 202010687747 A CN202010687747 A CN 202010687747A CN 112052721 A CN112052721 A CN 112052721A
- Authority
- CN
- China
- Prior art keywords
- eye
- frame
- frames
- height
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 210000000744 eyelid Anatomy 0.000 claims abstract description 77
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 230000004397 blinking Effects 0.000 claims abstract description 15
- 230000004424 eye movement Effects 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 40
- 238000013145 classification model Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 5
- 201000010099 disease Diseases 0.000 abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004399 eye closure Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000003889 eye drop Substances 0.000 description 2
- 229940012356 eye drops Drugs 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- KZMRYBLIGYQPPP-UHFFFAOYSA-M 3-[[4-[(2-chlorophenyl)-[4-[ethyl-[(3-sulfonatophenyl)methyl]azaniumylidene]cyclohexa-2,5-dien-1-ylidene]methyl]-n-ethylanilino]methyl]benzenesulfonate Chemical compound C=1C=C(C(=C2C=CC(C=C2)=[N+](CC)CC=2C=C(C=CC=2)S([O-])(=O)=O)C=2C(=CC=CC=2)Cl)C=CC=1N(CC)CC1=CC=CC(S([O-])(=O)=O)=C1 KZMRYBLIGYQPPP-UHFFFAOYSA-M 0.000 description 1
- 206010006784 Burning sensation Diseases 0.000 description 1
- 241000831576 Chlorophthalmus acutifrons Species 0.000 description 1
- 208000023715 Ocular surface disease Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007794 irritation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本申请提出了一种基于深度学习的眨眼波形图生成方法、装置及设备，其中，方法包括：获取针对用户眼部运动的视频流，其中，视频流中包含多帧眼部图像帧；将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域；获取目标区域对应的睑裂高度；根据视频流的图像帧顺序对每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。根据本申请能够提高眼睑间区域识别的准确性，以及睑裂高度和眨眼波形图的准确性，进而，提高了评估眼表疾病的可靠性。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于深度学习的眨眼波形图生成方法、装置及设备。
背景技术
当患者眼表异常时，可能出现不同程度的眼部灼热感、刺激感或异物感，从而导致眨眼频次改变、眨眼幅度异常、完全闭合时间异常等。通过绘制眨眼波形图可以评估眼表疾病。
目前，在绘制眨眼波形图时，通常采用边缘检测算法对采集的视频帧捕捉睑缘信息，该方案中，由于存在上眼睑边缘被眼睫毛等无用边缘切断的情况，导致无法精确定位上睑缘的位置，进而导致无法准确计算眼睑间距，眨眼波形图的准确性有待提高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种基于深度学习的眨眼波形图生成方法、装置及设备。
本申请第一方面实施例提出了一种基于深度学习的眨眼波形图生成方法，包括：
获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧；
将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域；
获取所述目标区域对应的睑裂高度；
根据所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。
可选地，在所述根据在所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度排序之前，还包括：确定所述目标区域小于预设高度的眼部图像帧；将所述小于预设高度的目标区域输入预先训练的分类模型，根据分类结果确定属于闭眼类别的目标区域；将所述属于闭眼类别的目标区域的睑裂高度调整为零。
可选地，所述分割模型通过以下步骤训练得到：获取多帧眼部样本图像，所述眼部样本图像中上下眼睑之间的区域标注有掩膜；对所述眼部样本图像进行数据增强处理；根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分割模型，其中，所述卷积神经网络包括编码器和解码器，固定所述编码器除批归一化层之外的部分，训练所述解码器直至收敛，当所述解码器收敛后，对所述编码器解除固定，并训练所述编码器直至收敛。
可选地，所述分类模型通过以下步骤训练得到：获取多帧眼部样本图像，所述眼部样本图像包括睁眼样本图像和闭眼样本图像；对所述眼部样本图像进行数据增强处理；根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分类模型，其中，所述卷积神经网络包括卷积层和全连接层，固定所述卷积层除批归一化层之外的部分，训练所述全连接层直至收敛，当所述全连接层收敛后，对所述卷积层解除固定，并训练所述卷积层直至收敛。
可选地，所述的方法还包括：根据所有睑裂高度中最大值的预设比例确定所述高度阈值。
本申请第二方面实施例提出了一种基于深度学习的眨眼波形图生成装置，包括：
获取模块，用于获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧；
分割模块，用于将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域；
确定模块，用于获取所述目标区域对应的睑裂高度；
生成模块，用于根据所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。
本申请第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的基于深度学习的眨眼波形图生成方法。
本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的基于深度学习的眨眼波形图生成方法。
上述申请中的一个实施例具有如下优点或有益效果：由于采用了获取针对用户眼部运动的视频流，视频流中包含多帧眼部图像帧。进而，将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域。进一步，获取目标区域对应的睑裂高度，并根据视频流的图像帧顺序对每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图，提高了眼睑间区域识别的准确性和眨眼波形图的准确性，进而，提高了评估眼表疾病的可靠性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
图1为本申请实施例所提供的一种基于深度学习的眨眼波形图生成方法的流程示意图；
图2为本申请实施例所提供的一种眼部图像帧的示意图；
图3为本申请实施例所提供的一种分割结果的示意图；
图4为本申请实施例所提供的另一种基于深度学习的眨眼波形图生成方法的流程示意图；
图5为本申请实施例所提供的一种生成眨眼波形图的操作流程示意图；
图6为本申请实施例所提供的一种眨眼波形图的示意图；
图7为本申请实施例所提供的一种基于深度学习的眨眼波形图生成装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于深度学习的眨眼波形图生成方法、装置及设备。
本申请实施例的基于深度学习的眨眼波形图生成方法，可以应用于生成眨眼波形图，其中，眨眼波形图可用于评估眼表疾病。
图1为本申请实施例所提供的一种基于深度学习的眨眼波形图生成方法的流程示意图，如图1所示，该方法包括：
步骤101，获取针对用户眼部运动的视频流。
其中，视频流中包含多帧眼部图像帧。
本实施例中，通过图像采集装置获取用于眼部运动的视频流，并将视频流划分为多帧眼部图像帧。
作为一种示例，通过高速摄像机拍摄用户的眨眼过程，获取上下眼睑在一段时间内运动的视频流，进而将视频流划分为多帧眼部图像帧。眼部图像帧例如图2所示。
步骤102，将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域。
本实施例中，预先训练分割模型，分割模型的输入为眼部图像，输出为眼部图像中上下眼睑之间包含的区域。
在本申请的一个实施例中，分割模型通过以下步骤训练得到：获取多帧眼部样本图像，眼部样本图像中的上下眼睑之间的区域标注有掩膜，根据多帧眼部样本图像训练卷积神经网络，生成分割模型。通过将多帧帧眼部样本图像输入卷积神经网络，输出上下眼睑之间的区域的预测结果，根据预测结果和标注结果的差距对卷积神经网络进行参数调整，参数调整例如通过反向传播算法调整，从而实现训练分割模型。
其中，分割卷积神经网络包括编码器和解码器，在训练过程中，首先固定编码器除批归一化层之外的部分，训练解码器直至收敛，进而，当解码器收敛后，对编码器解除固定，并训练编码器直至收敛。
可选地，在获取多帧眼部样本图像之后，对眼部样本图像进行数据增强处理。其中，数据增强处理包括翻转、轻度旋转、亮度对比度调整等，通过数据增强处理可以增强模型泛化能力。
步骤103，获取目标区域对应的睑裂高度。
本实施例中，对于每帧图像帧，分别获取目标区域对应的睑裂高度，其中，睑裂高度用于表示睁眼程度。
举例而言，参照图3，图3中示出了四帧眼部样本图像中上下眼睑之间包含的目标区域，取目标区域间高度的最大值作为睑裂高度，即右下所示的眼部样本图像对应的睑裂高度最大。
步骤104，根据视频流的图像帧顺序对每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。
本实施例中，可以眨眼过程的时间顺序将视频流划分为多帧眼部图像帧，并对每帧眼部图像帧设置帧序号。可选地，在获取所有眼部图像帧中目标区域的睑裂高度后，确定所有睑裂高度中的最大值，并将最大值的预设比例确定为高度阈值。例如，预设比例为90％，则将最大值的90％作为高度阈值。
本实施例中，根据睑裂高度与高度阈值的比值计算开合度，其中，若开合度大于100％，则修正为100％。进而，图像帧顺序和所有开合度生成开合度序列，根据开合度序列生成眨眼波形图，眨眼波形图横坐标为帧序号，纵坐标为开合度。
本申请实施例的基于深度学习的眨眼波形图生成方法，通过获取针对用户眼部运动的视频流，视频流中包含多帧眼部图像帧；将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域；获取目标区域对应的睑裂高度，并根据视频流的图像帧顺序对每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。由此，通过预先训练的分割模型获取每帧图像帧中上下眼睑之间包含的目标区域，由于神经网络模型能够根据高维特征，如颜色、纹理、形状，判断一个像素或者图像的类别，相比于边缘检测算法，经过训练的神经网络能够区分像素点是否属于眼睑间区域，即使包含眼睫毛和虹膜倒影等干扰，依然不影响其分割，从而提高了眼睑间区域识别的准确性，进而提高睑裂高度和眨眼波形图的准确性，进一步，提高了评估眼表疾病的可靠性。
基于上述实施例，进一步地，在实际应用中，能否在眼部完全闭合时进行疾病评估会影响评估结果准确性，由于分割模型在睑缘接近闭合或者完全闭合时，其待分割区域面积过小导致精度下降，因此本实施例中还可以通过分类模型对接近完全闭眼的图像进行分类，根据分类结果进行高度修正。
图4为本申请实施例所提供的另一种基于深度学习的眨眼波形图生成方法的流程示意图，如图4所示，该方法包括：
步骤101，获取针对用户眼部运动的视频流。
其中，视频流中包含多帧眼部图像帧。
步骤102，将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域。
步骤103，获取目标区域对应的睑裂高度。
前述实施例对步骤101、102、103的解释说明同样适用于本实施例，此处不再赘述。
步骤105，确定目标区域小于预设高度的眼部图像帧。
本实施例中，对于每帧眼部图像帧，在获取目标区域对应的睑裂高度后，将睑裂高度与预设高度进行比较，若睑裂高度小于预设高度，则确定该眼部图像帧需要进一步进行分类。
其中，预设高度可以根据大量实验数据确定，也可以根据实际需要进行设置，此处不作限制。
步骤106，将小于预设高度的目标区域输入预先训练的分类模型，根据分类结果确定属于闭眼类别的目标区域。
本实施例中，预先训练分类模型，分类模型的输入为眼部图像帧，输出为眼部图像帧的分类结果，其中，分类结果可包括睁眼类别和闭眼类别。
在本申请的一个实施例中，分类模型通过以下步骤训练得到：获取多帧眼部样本图像，其中，眼部样本图像包括睁眼样本图像和闭眼样本图像，可选地，多帧眼部样本图像可以选取完全闭眼的图像和接近完全闭眼的图像。进而，根据多帧眼部样本图像训练卷积神经网络，生成分类模型，通过将多帧帧眼部样本图像输入卷积神经网络，输出睁眼/闭眼类别的预测结果，根据预测结果和标注结果的差距对卷积神经网络进行参数调整，参数调整例如通过反向传播算法调整，从而实现训练分类模型。
其中，分类卷积神经网络包括卷积层和全连接层，在训练过程中，先固定卷积层除批归一化层之外部分，训练全连接层直至收敛，进而，当全连接层收敛后，对卷积层解除固定，并微调卷积层直至收敛。
可选地，在获取多帧眼部样本图像之后，对眼部样本图像进行数据增强处理。其中，数据增强处理包括翻转、轻度旋转、亮度对比度调整等，通过数据增强处理可以增强模型泛化能力。
步骤107，将属于闭眼类别的目标区域的睑裂高度调整为零。
作为一种示例，若眼部图像帧的分类结果为属于闭眼类别，则将目标区域的睑裂高度调整为零；若眼部图像帧的分类结果为属于睁眼类别，则保留原睑裂高度。
步骤108，根据所有睑裂高度中最大值的预设比例确定高度阈值。
本实施例中，在获取所有眼部图像帧中目标区域的睑裂高度后，确定所有睑裂高度中的最大值，并将最大值的预设比例确定为高度阈值。例如，预设比例为90％，则将最大值的90％作为高度阈值。
步骤109，根据图像帧顺序、睑裂高度和高度阈值生成开合度序列，根据开合度序列生成眨眼波形图。
本实施例中，根据睑裂高度与高度阈值的比值计算开合度，其中，若开合度大于100％，则修正为100％。进而，图像帧顺序和所有开合度生成开合度序列，根据开合度序列生成眨眼波形图，眨眼波形图横坐标为帧序号，纵坐标为开合度。
本申请实施例的基于深度学习的眨眼波形图生成方法，通过对小于预设高度的眼部图像帧进行闭眼分类，以及将属于闭眼类别的目标区域的睑裂高度调整为零，面对误差较大的接近闭眼或者完全闭眼的情况，能够消除假阳性样本，进一步提高眼睑间区域识别和睑裂高度的准确性。
下面结合实际应用场景对基于深度学习的眨眼波形图生成方法进行举例说明。
参照图5，其中，数据获取：将丽丝胺绿滴眼液滴入用户下睑结膜囊内，等待至完全着色后，用户自然向前注视1分钟，通过高速摄像机拍摄用户的眨眼过程，捕获上下眼睑的在一段时间内的运动图像。
数据预处理：对捕获的视频帧进行分帧处理，得到多帧图像帧序列，便于后续模型输入。
数据标注：选取一定量图像上传至图像标注平台，对图像眼裂部分标注掩膜。以及，对包含完全闭眼和接近完全闭眼的图像进行是否完全闭眼的标注。
分割模型训练：将大量标注掩膜的眼睑运动图像输入至分割模型进行训练，对数据进行数据增强，包括翻转、轻度旋转、亮度对比度调整等，以增强模型泛化能力。模型训练分为两阶段，第一阶段固定编码器除批归一化层之外部分，训练解码器至收敛，第二阶段解除编码器固定，微调编码器直至收敛。学习率经过随机变化后，先下降再上升，动量先上升再下降。
分类模型训练：将标注是否闭眼的视频帧图像输入至分类模型进行训练，数据增强方式可参照分割模型训练部分，训练过程分两阶段，第一阶段固定所述卷积层，训练所述全连接层直至收敛，第二阶段，对所述卷积层解除固定，并训练所述卷积层直至收敛。学习率经过随机变化后，先下降再上升，动量先上升再下降。
眼睑间区域分割：根据预先训练的分割模型对眼睑运动图像帧分割上下眼睑间区域，得到掩膜，计算掩膜最大高度di，i为帧序号，将di作为该帧的睑裂高度。
完全闭眼分类：若掩膜最大高度低于一阈值，例如低于帧高度的1/2，则将对应的图像帧输入至预先训练的分类模型判断是否属于完全闭眼类别，如果分类结果是完全闭眼，则将该帧睑裂高度置为0，否则不处理。
开合度计算：对图像帧序列的睑裂高度进行排序，设置一阈值dmax，例如di中最大值的90％，将高于该阈值的所有睑裂高度视为正常睁眼。进而，将所有的睑裂高度与正常睁眼高度的计算比例di/dmax×100％得到开合度，超出100％的修正为100％。
波形图生成：重复上述步骤得到开合度序列，根据开合度序列绘制成眨眼波形图，眨眼波形图的横坐标为帧序号、纵坐标为开合度，作为一种示例，眨眼波形图如图6所示，可以根据序列和波形作出初步分析，得到该段时间的眨眼次数、完全眨眼次数、最长持续闭眼时间等。可选地，还可以对眨眼波形图进行展示，例如将波形图和初步分析结果显示在屏幕上。
为了实现上述实施例，本申请还提出一种基于深度学习的眨眼波形图生成装置。
图7为本申请实施例所提供的一种基于深度学习的眨眼波形图生成装置的结构示意图，如图7所示，该装置包括：获取模块10，分割模块20，确定模块30，生成模块40。
其中，获取模块10，用于获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧。
分割模块20，用于将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域。
确定模块30，用于获取所述目标区域对应的睑裂高度。
生成模块40，用于根据所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。
在本申请的一个实施例中，该装置还包括：分类模块，用于确定所述目标区域小于预设高度的眼部图像帧；将所述小于预设高度的目标区域输入预先训练的分类模型，根据分类结果确定属于闭眼类别的目标区域；将所述属于闭眼类别的目标区域的睑裂高度调整为零。
在本申请的一个实施例中，该装置还包括：分割模型训练模块，用于获取多帧眼部样本图像，所述眼部样本图像中上下眼睑之间的区域标注有掩膜；对所述眼部样本图像进行数据增强处理；根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分割模型，其中，所述卷积神经网络包括编码器和解码器，首先固定所述编码器除批归一化层之外的部分，训练所述解码器直至收敛，当所述解码器收敛后，对所述编码器解除固定，并训练所述编码器直至收敛。
在本申请的一个实施例中，该装置还包括：分类模型训练模块，用于获取多帧眼部样本图像，所述眼部样本图像包括睁眼样本图像和闭眼样本图像；对所述眼部样本图像进行数据增强处理；根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分类模型，其中，所述卷积神经网络包括卷积层和全连接层，固定所述卷积层除批归一化层之外的部分，训练所述全连接层直至收敛，当所述全连接层收敛后，对所述卷积层解除固定，并训练所述卷积层直至收敛。
在本申请的一个实施例中，该装置还包括：计算模块，用于根据所有睑裂高度中最大值的预设比例确定高度阈值。
前述实施例对基于深度学习的眨眼波形图生成方法的解释说明同样适用于本实施例的基于深度学习的眨眼波形图生成装置，此处不再赘述。
本申请实施例的基于深度学习的眨眼波形图生成装置，通过获取针对用户眼部运动的视频流，视频流中包含多帧眼部图像帧。进而，将多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取每帧图像帧中上下眼睑之间包含的目标区域。进一步，获取目标区域对应的睑裂高度，并根据视频流的图像帧顺序对每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。由此，通过预先训练的分割模型获取每帧图像帧中上下眼睑之间包含的目标区域，相比于边缘检测算法，经过训练的神经网络能够区分像素点是否属于眼睑间区域，即使包含眼睫毛和虹膜倒影等干扰，依然不影响其分割，从而提高了眼睑间区域识别的准确性和眨眼波形图的准确性，进而，提高了评估眼表疾病的可靠性。
为了实现上述实施例，本申请还提出一种计算机设备，包括处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述任一实施例所述的基于深度学习的眨眼波形图生成方法。
为了实现上述实施例，本申请还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的基于深度学习的眨眼波形图生成方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的基于深度学习的眨眼波形图生成方法。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于深度学习的眨眼波形图生成方法，其特征在于，包括：
获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧；
将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域；
获取所述目标区域对应的睑裂高度；
根据所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。
2.如权利要求1所述的方法，其特征在于，在所述根据在所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度排序之前，还包括：
确定所述目标区域小于预设高度的眼部图像帧；
将所述小于预设高度的目标区域输入预先训练的分类模型，根据分类结果确定属于闭眼类别的目标区域；
将所述属于闭眼类别的目标区域的睑裂高度调整为零。
3.如权利要求1所述的方法，其特征在于，所述分割模型通过以下步骤训练得到：
获取多帧眼部样本图像，所述眼部样本图像中上下眼睑之间的区域标注有掩膜；
对所述眼部样本图像进行数据增强处理；
根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分割模型，其中，所述卷积神经网络包括编码器和解码器，固定所述编码器除批归一化层之外的部分，训练所述解码器直至收敛，当所述解码器收敛后，对所述编码器解除固定，并训练所述编码器直至收敛。
4.如权利要求2所述的方法，其特征在于，所述分类模型通过以下步骤训练得到：
获取多帧眼部样本图像，所述眼部样本图像包括睁眼样本图像和闭眼样本图像；
对所述眼部样本图像进行数据增强处理；
根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分类模型，其中，所述卷积神经网络包括卷积层和全连接层，固定所述卷积层除批归一化层之外的部分，训练所述全连接层直至收敛，当所述全连接层收敛后，对所述卷积层解除固定，并训练所述卷积层直至收敛。
5.如权利要求1所述的方法，其特征在于，还包括：
根据所有睑裂高度中最大值的预设比例确定所述高度阈值。
6.一种基于深度学习的眨眼波形图生成装置，其特征在于，包括：
获取模块，用于获取针对用户眼部运动的视频流，其中，所述视频流中包含多帧眼部图像帧；
分割模块，用于将所述多帧眼部图像帧中的每帧眼部图像帧输入预先训练的分割模型，获取所述每帧图像帧中上下眼睑之间包含的目标区域；
确定模块，用于获取所述目标区域对应的睑裂高度；
生成模块，用于根据所述视频流的图像帧顺序对所述每帧眼部图像帧的睑裂高度和高度阈值计算开合度，根据开合度序列生成眨眼波形图。
7.如权利要求6所述的装置，其特征在于，还包括：
分类模块，用于确定所述目标区域小于预设高度的眼部图像帧；
将所述小于预设高度的目标区域输入预先训练的分类模型，根据分类结果确定属于闭眼类别的目标区域；
将所述属于闭眼类别的目标区域的睑裂高度调整为零。
8.如权利要求6所述的装置，其特征在于，还包括：
分割模型训练模块，用于获取多帧眼部样本图像，所述眼部样本图像中上下眼睑之间的区域标注有掩膜；
对所述眼部样本图像进行数据增强处理；
根据增强后的多帧眼部样本图像训练卷积神经网络，生成所述分割模型，其中，所述卷积神经网络包括编码器和解码器，固定所述编码器除批归一化层之外的部分，训练所述解码器直至收敛，当所述解码器收敛后，对所述编码器解除固定，并训练所述编码器直至收敛。
9.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一项所述的基于深度学习的眨眼波形图生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的基于深度学习的眨眼波形图生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687747.4A CN112052721A (zh) | 2020-07-16 | 2020-07-16 | 基于深度学习的眨眼波形图生成方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010687747.4A CN112052721A (zh) | 2020-07-16 | 2020-07-16 | 基于深度学习的眨眼波形图生成方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112052721A true CN112052721A (zh) | 2020-12-08 |
Family
ID=73601831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010687747.4A Pending CN112052721A (zh) | 2020-07-16 | 2020-07-16 | 基于深度学习的眨眼波形图生成方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052721A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113662566A (zh) * | 2021-09-26 | 2021-11-19 | 温州医科大学 | 一种基于电信号的眨眼检测方法、装置、介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650688A (zh) * | 2016-12-30 | 2017-05-10 | 公安海警学院 | 基于卷积神经网络的眼部特征检测方法，装置及识别系统 |
| CN109410293A (zh) * | 2018-10-19 | 2019-03-01 | 北京市眼科研究所 | 眨眼波形图绘制方法及装置 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN110599491A (zh) * | 2019-09-04 | 2019-12-20 | 腾讯医疗健康(深圳)有限公司 | 基于先验信息的眼部图像分割方法、装置、设备及介质 |
| CN110717907A (zh) * | 2019-10-06 | 2020-01-21 | 浙江大学 | 一种基于深度学习的手部肿瘤智能检测方法 |
| CN110807364A (zh) * | 2019-09-27 | 2020-02-18 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
-
2020
- 2020-07-16 CN CN202010687747.4A patent/CN112052721A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650688A (zh) * | 2016-12-30 | 2017-05-10 | 公安海警学院 | 基于卷积神经网络的眼部特征检测方法，装置及识别系统 |
| US20190311202A1 (en) * | 2018-04-10 | 2019-10-10 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
| CN109410293A (zh) * | 2018-10-19 | 2019-03-01 | 北京市眼科研究所 | 眨眼波形图绘制方法及装置 |
| CN110599491A (zh) * | 2019-09-04 | 2019-12-20 | 腾讯医疗健康(深圳)有限公司 | 基于先验信息的眼部图像分割方法、装置、设备及介质 |
| CN110807364A (zh) * | 2019-09-27 | 2020-02-18 | 中国科学院计算技术研究所 | 三维人脸与眼球运动的建模与捕获方法及系统 |
| CN110717907A (zh) * | 2019-10-06 | 2020-01-21 | 浙江大学 | 一种基于深度学习的手部肿瘤智能检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 戴诗琪等: "基于深度学习的疲劳驾驶检测算法", 《计算机系统应用》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113662566A (zh) * | 2021-09-26 | 2021-11-19 | 温州医科大学 | 一种基于电信号的眨眼检测方法、装置、介质及电子设备 |
| CN113662566B (zh) * | 2021-09-26 | 2023-08-08 | 温州医科大学 | 一种基于电信号的眨眼检测方法、装置、介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106503614B (zh) | 一种照片获取方法及装置 | |
| US10872272B2 (en) | System and method using machine learning for iris tracking, measurement, and simulation | |
| KR20200004841A (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
| CN110287790B (zh) | 一种面向静态多人场景的学习状态混合分析方法 | |
| CN108427503A (zh) | 人眼追踪方法及人眼追踪装置 | |
| EP0751473A1 (en) | Locating features in an image | |
| CN110634116B (zh) | 一种面部图像评分方法及摄像机 | |
| CN107209933A (zh) | 用于评估视网膜图像以及从视网膜图像获得信息的方法和系统 | |
| WO2009062945A1 (de) | Verfahren und vorrichtung zum auffinden und verfolgen von augenpaaren | |
| CN109782902A (zh) | 一种操作提示方法及眼镜 | |
| CN111008971B (zh) | 一种合影图像的美学质量评价方法及实时拍摄指导系统 | |
| CN111666845B (zh) | 基于关键帧采样的小样本深度学习多模态手语识别方法 | |
| CN111461218A (zh) | 糖网病眼底图像的样本数据标注系统 | |
| Chen et al. | NeuroBiometric: An eye blink based biometric authentication system using an event-based neuromorphic vision sensor | |
| CN109543629A (zh) | 一种眨眼识别方法、装置、设备及可读存储介质 | |
| CN110929570B (zh) | 虹膜快速定位装置及其定位方法 | |
| CN110472546B (zh) | 一种婴幼儿非接触式眼动特征提取装置及方法 | |
| CN113887386B (zh) | 基于深度学习和机器学习的多特征融合的疲劳检测方法 | |
| CN112052721A (zh) | 基于深度学习的眨眼波形图生成方法、装置及设备 | |
| CN114022514A (zh) | 一种融合头部姿态和眼球跟踪的实时视线推断方法 | |
| CN112818899A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
| WO2024060418A1 (zh) | 基于眼部异常姿态的异常屈光状态识别方法及装置 | |
| CN111588345A (zh) | 眼部疾病检测方法、ar眼镜及可读存储介质 | |
| CN114565531A (zh) | 一种图像修复方法、装置、设备和介质 | |
| Robin et al. | A novel approach to detect & track iris for a different and adverse dataset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201208 |
|
| RJ01 | Rejection of invention patent application after publication |