CN117095450A - 一种基于图像的眼干程度评估系统 - Google Patents

Abstract

本公开提供了一种基于图像的眼干程度评估系统，属于计算机图像处理技术领域，该眼干程度评估系统包括：拍摄模块，配置为拍摄位于预设检测位置的目标对象的上半身视频，上半身视频包括多帧上半身图像，上半身图像包括眼部图像部分；图像筛选模块，配置为从上半身视频中筛选出多帧用于后续进行眼干程度评估的上半身图像作为评估用图像；图像识别模块，配置为识别评估用图像中位于眼部图像部分的泪阜区域内的液体反光区域，其中位于液体反光区域内的像素为液体反光像素；评估模块，配置为根据至少部分评估用图像分别所包括的液体反光像素的数量，得到目标对象的眼干程度评估值。

Description

一种基于图像的眼干程度评估系统

技术领域

本公开涉及计算机图像处理技术领域，特别涉及一种基于图像的眼干程度评估系统。

背景技术

目前，对于眼干程度的判断往往是基于专业人员直接对目标对象的眼睛进行人工观测，然后根据人工观测结果给出目标对象的眼干程度等级（一般分为正常、轻度眼干、中度眼干、重度眼干四个等级）。由此可见，现有技术中对于眼干程度的评估主要是依赖于观测人员主观感受所得出，因此评估结果准确度不高；另外，现有技术中仅能初步评估眼干程度的等级，并不能对眼干程度进行精准量化评估。

发明内容

本公开旨在至少解决现有技术中存在的技术问题之一，提出了一种基于图像的眼干程度评估系统。

本公开提供的基于图像的眼干程度评估系统包括：

拍摄模块，配置为拍摄位于预设检测位置的目标对象的上半身视频，所述上半身视频包括多帧上半身图像，所述上半身图像包括眼部图像部分；

图像筛选模块，配置为从所述上半身视频中筛选出多帧用于后续进行眼干程度评估的所述上半身图像作为评估用图像；

图像识别模块，配置为识别所述评估用图像中位于所述眼部图像部分的泪阜区域内的液体反光区域，其中位于所述液体反光区域内的像素为液体反光像素；

评估模块，配置为根据至少部分所述评估用图像分别所包括的液体反光像素的数量，得到所述目标对象的眼干程度评估值。

在一些实施例中，所述图像筛选模块包括：

切分子模块，配置为将所述上半身视频切分为多个视频段；

参照物选取子模块，配置为选取用于后续进行图片筛选的第一恒定参照物；

筛选子模块，配置为针对每个所述视频段，从目标视频段中选取一帧上半身图像作为基准图像，所述目标视频段中除所述基准图像之外的其他上半身图像作为待筛选图像，以及从目标视频段中筛选出所包含第一恒定参照物的图像部分与所述基准图像所包含第一恒定参照物的图像部分之间的图像相似度指标满足预设相似度筛选条件的待筛选图像，并将筛选出的所述待筛选图像和所述基准图像作为评估用图像。

在一些实施例中，所述上半身图像还包括衣着图像部分和眉毛图像部分；

所述参照物选取子模块包括：

第一检测单元，配置为从上半身视频中选取一帧上半身图像作为目标上半身图像，并判断所述目标上半身图像所包含所述衣着图像部分中所有像素的颜色强度的平均值是否小于第一预设强度阈值；

参照物选取单元，配置为在所述第一检测单元检测出所述目标上半身图像所包含所述衣着图像部分中所有像素的颜色强度的平均值小于第一预设强度阈值时，选取所述衣着图像部分作为所述第一恒定参照物，以及在所述第一检测单元检测出所述目标上半身图像所包含所述衣着图像部分中所有像素的颜色强度的平均值大于或等于第一预设强度阈值时，选取所述眉毛图像部分作为所述第一恒定参照物。

在一些实施例中，所述切分子模块包括：

计算单元，配置为针对上半身视频中每相邻两帧上半身图像，计算目标相邻两帧上半身图像之间的结构相似性指数以及L2范数差异指数；

切分单元，配置为在目标相邻两帧上半身图像之间的结构相似性指数小于第一预设相似度阈值和/或L2范数差异指数大于预设差异度阈值时，在所述目标相邻两帧上半身图像之间进行切分。

在一些实施例中，所述图像相似度指标包括：结构相似性指数、均方误差指数和峰值信噪比指数；

所述筛选子模块包括：

选取单元，配置为针对每个所述视频段，选取目标视频段中的第一帧上半身图像作为基准图像，或者，配置为针对每个所述视频段，确定目标视频段中每一帧所述上半身图像所包含第一恒定参照物的图像部分的区域亮度，并选取区域亮度中位数所对应的上半身图像作为所述基准图像；

第一筛选单元，配置为针对每个所述视频段，从目标视频段中筛选出满足：所包含第一恒定参照物的图像部分与所述基准图像所包含第一恒定参照物的图像部分之间的结构相似性指数大于等于第二预设相似度阈值、均方误差指数小于等于预设均方误差阈值且峰值信噪比指数小于等于预设峰值信噪比阈值的待筛选图像。

在一些实施例中，所述筛选子模块从全部所述视频段中所筛选出的全部所述评估用图像构成评估用图像集合；

所述图像筛选模块还包括：

眼部区域识别子模块，配置为识别所述评估用图像集合中各所述评估用图像中的眼部图像部分所在区域，所述评估用图像中位于眼部图像部分所在区域内的像素为眼部像素；

第一剔除子模块，配置为从所述评估用图像集合中剔除所包含眼部像素的数量小于等于预设剔除数量阈值的评估用图像。

在一些实施例中，所述图像筛选模块还包括：

泪阜区域识别子模块，配置为从所述评估用图像集合中各所述评估用图像中的眼部图像部分所在区域内识别出泪阜区域；

第二剔除子模块，配置为针对所述评估用图像集合中每个评估用图像，检测目标评估用图像中的所述泪阜区域内是否存在反光区域，并在检测出所述目标评估用图像中的所述泪阜区域内不存在反光区域时，从所述评估用图像集合中剔除所述目标评估用图像。

在一些实施例中，所述图像识别模块包括：

反光区域识别子模块，配置为在所述图像筛选模块所筛选出的各所述评估用图像中的泪阜区域内进行反光区域的识别；

液体反光区域识别子模块，配置为针对所述反光区域识别子模块所识别出的每个所述反光区域，计算目标反光区域的边缘与所处所述泪阜区域的边缘之间的最小间距，并当所述最小间距小于或等于预设间距阈值时，将所述目标反光区域识别为所述液体反光区域。

在一些实施例中，所述评估模块包括：

划分子模块，配置为将所述图像筛选模块所筛选出的全部所述评估用图像划分为至少两个评估用图像子集，每个评估用图像子集包括多个评估用图像，每个所述评估用图像子集指定有对应的第二恒定参照物，不同所述评估用图像子集所对应的第二恒定参照物不同；

分组子模块，配置为针对每个所述评估用图像子集，将目标评估用图像子集内全部评估用图像按照各评估用图像所对应的参照物颜色强度平均指数进行分组，得到所述目标评估用图像子集所对应的至少两个评估用图像组，每个所述评估用图像组包括至少一个评估用图像，每个评估用图像组中评估用图像的参照物颜色强度平均指数的最大值与最小值之差小于等于预设差值阈值，位于同一所述评估用图像子集中的任意两个所述评估用图像组中评估用图像的参照物颜色强度平均指数的最小值之差的绝对值大于所述预设差值阈值，其中所述参照物颜色强度平均指数为所述评估用图像内所指定第二恒定参照物的图像部分内全部像素的颜色强度的平均值；

第一计算子模块，配置为针对每个所述评估用图像组，计算目标评估用图像组中全部评估用图像所包括的液体反光像素的数量的平均值，作为目标评估用图像组所对应的眼干程度初步评估值；

第二计算子模块，配置为针对每个所述评估用图像子集，从目标评估用图像子集中剔除所对应眼干程度初步评估值最小的一半目标评估用图像组，并计算目标评估用图像子集中剩余一半目标评估用图像组所对应眼干程度初步评估值的平均值，作为所述目标评估用图像子集所对应的眼干程度综合评估值；

第三计算子模块，配置为对全部所述目标评估用图像子集的眼干程度综合评估值进行加权求和，作为所述目标对象的眼干程度评估值。

在一些实施例中，所述上半身图像还包括衣着图像部分和眉毛图像部分；

所述划分子模块具体配置为将所述图像筛选模块所筛选出的全部所述评估用图像划分为两个评估用图像子集，其中一个评估用图像子集所配置对应的第二恒定参照物为衣着图像部分，另一个评估用图像子集所配置对应的第二恒定参照物为眉毛图像部分。

附图说明

图1为本公开实施例提供的基于图像的眼干程度评估系统的一种结构框图；

图2A为本公开中图像筛选模块的一种可选结构框图；

图2B为本公开中图像筛选模块的另一种可选结构框图；

图3为本公开中图像识别模块的一种可选结构框图；

图4为本公开中评估模块的一种可选结构框图；

图5为本公开实施例中从评估用图像中的眼部图像部分所在区域内识别出泪阜区域的一种示意图；

图6为本公开实施例中对泪阜区域中的反光区域进行筛选的一种示意图；

图7为本公开实施例提供的基于图像的眼干程度评估系统的另一种结构框图；

图8为本公开实施例中眼干程度评估系统进行眼干程度评估过程的一种流程图。

具体实施方式

为使本领域技术人员更好地理解本公开的技术方案，下面结合附图和具体实施方式对本公开作进一步详细描述。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

在下文中描述了本公开的许多特定的细节，例如图像处理过程中的图像筛选算法、边缘识别算法、像素统计等，以便更清楚地理解本公开。但正如本领域的技术人员能够理解的那样，可以不按照这些特定的细节来实现本公开。

在本公开中，图像中的每个像素包括多个子像素，每个子像素存在对应的显示灰阶（也称为通道值，取值在0～255）；像素的颜色强度是指像素所包括的全部子像素的显示灰阶之和；反光像素是指因反光而呈现高亮的像素，反光像素的颜色强度大于0.7*Lmax，其中Lmax为像素的理论最大颜色强度；反光区域是指图像中所有像素均为反光像素的区域。

以每个像素包括一个红色子像素（对应的灰阶值记为R）、一个绿色子像素（对应的灰阶值记为G）和一个蓝色子像素（对应的灰阶值记为B）为例。像素的颜色强度=R+G+B；反光像素的颜色强度大于0.7*（Rmax+Gmax+Bmax），其中Rmax、Gmax、Bmax分别为红色子像素、绿色子像素和蓝色子像素的理论最大灰阶（一般为255）。

图1为本公开实施例提供的基于图像的眼干程度评估系统的一种结构框图。图2A为本公开中图像筛选模块的一种可选结构框图，图2B为本公开中图像筛选模块的另一种可选结构框图。图3为本公开中图像识别模块的一种可选结构框图。图4为本公开中评估模块的一种可选结构框图。如图1至图4所示，该眼干程度评估系统包括：拍摄模块1、图像筛选模块2、图像识别模块3和评估模块4。

其中，拍摄模块1配置为拍摄位于预设检测位置的目标对象的上半身视频，上半身视频包括多帧上半身图像，上半身图像包括眼部图像部分，眼部图像部分包括有泪阜区域和眼球区域。

其中，拍摄模块1为具有连续拍照或摄像功能的设备，例如相机、摄像机等。

在本公开中，当目标对象需要进行眼干程度评估时，需要站在拍摄模块1的正前方的预设检测位置并正对拍摄模块1的镜头，然后拍摄模块1拍摄目标对象的上半身视频；其中，拍摄模块1所拍摄的上半身视频的时长，可以根据实际需要进行预先设计和调整，例如10S、20S、1分钟等。拍摄模块1每秒所获得的图像数量可由拍摄模块1的性能来决定。

图像筛选模块2配置为从上半身视频中筛选出多帧用于后续进行眼干程度评估的上半身图像作为评估用图像。

在利用拍摄模块1拍摄目标对象的上半身视频时，目标对象不可避免的会存在一些微小晃动，这会导致部分上半身图像不太适用于后续进行眼干程度评估，故可以根据需要对上半身视频中的上半身图像进行筛选，得到评估用图像；

图像识别模块3配置为识别评估用图像中位于眼部图像部分的泪阜区域内的液体反光区域，其中位于液体反光区域内的像素为液体反光像素。

眼睛的泪阜区域呈现中间区域凸起的形貌，故当泪阜区域中存在液体时，液体会位于泪阜区域内靠近泪阜区域边缘的区域；当环境光照射在泪阜区域时，泪阜区域中存在液体的区域会对环境光产生反射而呈现高亮，故在泪阜区域内靠近泪阜区域边缘的位置会形成液体反光区域。其中，眼睛越湿润，泪阜区域内的液体越多，对应的液体反光区域的面积越大，相应地液体反光像素的数量越多。反之，眼睛越干燥，泪阜区域内的液体越少，对应的液体反光区域的面积越小，相应地液体反光像素的数量越少。

评估模块4配置为根据至少部分评估用图像分别所包括的液体反光像素的数量，得到目标对象的眼干程度评估值。

基于上述原理可见，泪阜区域内液体反光像素的数量可以反映出眼干程度的高低；因此，泪阜区域内液体反光像素的数量可以用于量化眼干程度评估值。在本公开中，基于至少部分评估用图像中所包括的液体反光像素的数量，可以得到目标对象的眼干程度评估值。本公开的技术方案能够实现普适性、常态化的眼干程度检测。

作为一个示例，可以对全部评估用图像中所包括的液体反光像素的数量求平均值，计算结果直接作为目标对象的眼干程度评估值；当然，本公开中也可以基于一定的算法，对部分评估用图像中所包括的液体反光像素的数量进行相应运算，并将运算结果作为目标对象的眼干程度评估值（后面将结合具体示例进行描述）。本公开对于具体算法不作限定。

参见图2A所示，在一些实施例中，图像筛选模块2包括：切分子模块、参照物选取子模块和筛选子模块。

其中，切分子模块配置为将上半身视频切分为多个视频段。

参照物选取子模块配置为选取用于后续进行图片筛选的第一恒定参照物。

筛选子模块配置为针对每个视频段，从目标视频段中选取一帧上半身图像作为基准图像，目标视频段中除基准图像之外的其他上半身图像作为待筛选图像，以及从目标视频段中筛选出所包含第一恒定参照物的图像部分与基准图像所包含第一恒定参照物的图像部分之间的图像相似度指标满足预设相似度筛选条件的待筛选图像，并将筛选出的待筛选图像和基准图像作为评估用图像。

在一些实施例中，切分子模块包括：计算单元和切分单元。

其中，计算单元配置为针对上半身视频中每相邻两帧上半身图像，计算目标相邻两帧上半身图像之间的结构相似性（Structural Similarity，简称SSIM）指数以及L2范数差异指数。

切分单元配置为在目标相邻两帧上半身图像之间的结构相似性指数小于第一预设相似度阈值和/或L2范数差异指数大于预设差异度阈值时，在目标相邻两帧上半身图像之间进行切分。

在本公开中，将长时段的上半身视频划分为多个短时段的视频段时，划分原则如下：要保证划分出的短时段的视频段需要确保每帧图像中背景和环境光基本一致（表现为对象和场景静止或慢速变化）。其中，图像主体结构（也即对象和背景）的相似度以视频段中相邻两帧图像的SSIM指数来判断，当SSIM指数大于第一预设相似度阈值（例如，95%）时，则认定为前后两张图像主体结构一致；否则，认定为前后两张图像主体结构不一致；另外，视频中相邻两帧图像的光照效果差异，可采用L2范数测量，若L2范数差异指数小于预设差异度阈值（例如，5%），则认定两张图像光照效果一致。在长时段的上半身视频中，若相邻的两帧上半身图像满足主体结构一致且光照效果一致，则应划分为同一短时段视频中；若目标帧上半身图像与上一帧相邻上半身图像之间的主体结构和光照效果中存在至少一者不一致，则将目标帧上半身图像与上一帧相邻上半身图像之间进行切分，则从该目标帧上半身图像开始，划分为新的短时段视频段。基于上述原理，可将原长时段的上半身视频划分为多个短时段的视频段，并且每个短时段的视频段均能满足“对象和场景静止或慢速变化”。

在一些实施例中，上半身图像还包括衣着图像部分和眉毛图像部分；参照物选取子模块包括：第一检测单元和参照物选取单元。

其中，第一检测单元配置为从上半身视频中选取一帧上半身图像作为目标上半身图像，并判断目标上半身图像所包含衣着图像部分中所有像素的颜色强度的平均值是否小于第一预设强度阈值。

参照物选取单元配置为在第一检测单元检测出目标上半身图像所包含衣着图像部分中所有像素的颜色强度的平均值小于第一预设强度阈值时，选取衣着图像部分作为第一恒定参照物，以及在第一检测单元检测出目标上半身图像所包含衣着图像部分中所有像素的颜色强度的平均值大于或等于第一预设强度阈值时，选取眉毛图像部分作为第一恒定参照物。

在本公开实施例中，筛选能够作为眼部图像部分的环境背景中的恒定参照物（即第一恒定参照物），恒定参照物的筛选原则为：其自身纹理、反光特性不会发生变化。例如，衣着（一般为衣领）、眉毛适宜作为恒定参照物，而脸部皮肤不适宜作为恒定参照物（皮肤容易受湿度影响致使纹理发生变化）。

在本公开中，考虑到稳定性（不易受汗水等影响发生纹理、反光特性变化），优先选择位于眼部附近的深色系衣着作为恒定参照物，浅色系衣着容易产生反光特性变化。在本公开实施例中，第一检测单元判断目标上半身图像所包含衣着图像部分中所有像素的颜色强度的平均值是否小于第一预设强度阈值（例如，取值为200，具体取值可根据实际需要进行预先设计和调整），是为了检测目标对象的衣着部分是否为深色系衣着；其中，若目标上半身图像所包含衣着图像部分中所有像素的颜色强度的平均值小于第一预设强度阈值，则表示眼部图像附近的衣着为深色系，此时可选择衣着图像部分可作为第一恒定参照物；反之，则表示眼部图像附近的衣着为浅色系，此时可选择眉毛图像部分作为第一恒定参照物。

在一些实施例中，在选择将衣着图像部分或眉毛图像部分作为第一恒定参照物时，从衣着图像部分或眉毛图像部分提取出一个矩形区域作为最终的第一恒定参照物，以方便于后续计算。

在一些实施例中，图像相似度指标包括：结构相似性指数、均方误差（MSE）指数和峰值信噪比（PSNR）指数。筛选子模块包括：选取单元和第一筛选单元。

其中，选取单元配置为针对每个视频段，从目标视频段中选取出一帧上半身图像作为基准图像。

作为一个示例，可以选取目标视频段中的第一帧上半身图像作为基准图像。

作为另一个示例，可以先确定目标视频段中每一帧上半身图像所包含第一恒定参照物的图像部分的区域亮度，然后选取区域亮度中位数所对应的上半身图像作为基准图像。

第一筛选单元配置为针对每个视频段，从目标视频段中筛选出满足：所包含第一恒定参照物的图像部分与基准图像所包含第一恒定参照物的图像部分之间的结构相似性指数大于等于第二预设相似度阈值、均方误差指数小于等于预设均方误差阈值且峰值信噪比指数小于等于预设峰值信噪比阈值的待筛选图像，以作为评估用图像。

作为一个示例，可以先计算目标视频段中各待筛选图像与基准图像在第一恒定参照物的图像部分的SSIM指数，若SSIM指数大于等于第二预设相似度阈值（例如，98%），则表示相较于基准图像，待筛选图像的图像结构无变化或变化极小；若SSIM指数小于第二预设相似度阈值，则表示相较于基准图像，待筛选图像的图像结构变化大，应从目标视频段中剔除该待筛选图像。然后，再计算目标视频段中剩余各待筛选图像与基准图像之间的MSE指数和PSNR指数，若MSE指数小于等于预设均方误差阈值且PSNR指数小于等于预设峰值信噪比阈值，则表示相较于基准图像中第一恒定参照物光线变化较小；若MSE指数大于预设均方误差阈值和/或PSNR指数大于预设峰值信噪比阈值，则表示相较于基准图像，待筛选图像中第一恒定参照物光线变化较大，应从目标视频段中剔除该待筛选图像。

当然，在实际应用中，也可以先基于MSE指数和PSNR指数对目标视频段进行图像剔除处理，然后再基于SSIM指数对目标视频段进行图像剔除处理。本公开对此不作限定。

需要说明的是，在一些实施例中，第二预设相似度阈值大于第一预设相似度阈值，以保证从视频段中筛选出更为合适的评估用图像。

参见图2B所示，在一些实施例中，图像筛选模块2不但包括图2A中所示切分子模块、参照物选取子模块和筛选子模块，还包括：眼部区域识别子模块和第一剔除子模块。

其中，筛选子模块从全部视频段中所筛选出的全部评估用图像构成评估用图像集合。

眼部区域识别子模块配置为识别评估用图像集合中各评估用图像中的眼部图像部分所在区域，评估用图像中位于眼部图像部分所在区域内的像素为眼部像素。

第一剔除子模块配置为从评估用图像集合中剔除所包含眼部像素的数量小于等于预设剔除数量阈值的评估用图像。

在一些实施例中，可采用OpenCV自带算法提取评估用图像集合中各评估用图像中的眼部图像部分。也可以使用其它类似的数字图像处理方法、机器学习方法在评估用图像中提取眼部图像部分。

由于同一数据采集源（相同拍摄模块1），分辨率相同，因此可由提取出的眼部图像部分中的像素个数多少，快速判定目标对象的眼部区域是正面图像（像素点数量相对较多）或是侧面、半侧面图像（像素点数量相对较少）。具体地，可以设定预设剔除数量阈值（由用户根据视频分辨率、环境情况等交互设置），当眼部图像部分的像素点数量大于该预设剔除数量阈值时，则判定为正面图像；否则，判断为非正面图像，予以剔除（不利于评估眼部干燥情况）。

继续参见图2B所示，在一些实施例中，图像筛选模块2还包括：泪阜区域识别子模块和第二剔除子模块。

其中，泪阜区域识别子模块配置为从评估用图像集合中各评估用图像中的眼部图像部分所在区域内识别出泪阜区域。

第二剔除子模块配置为针对评估用图像集合中每个评估用图像，检测目标评估用图像中的泪阜区域内是否存在反光区域，并在检测出目标评估用图像中的泪阜区域内不存在反光区域时，从评估用图像集合中剔除目标评估用图像。

图5为本公开实施例中从评估用图像中的眼部图像部分所在区域内识别出泪阜区域的一种示意图。如图5所示，在一些实施例中，可采用边缘提取算子（例如，Canny算子）从评估用图像集合中各评估用图像中的眼部图像部分所在区域内识别出泪阜区域的轮廓，从而得到泪阜区域的位置。

可选地，在得到泪阜区域的轮廓后，还将泪阜区域靠近眼球区域一侧的轮廓朝眼球区域扩充一定范围（例如10个像素），得到泪阜区域最终位置。如此处理，是为了便于对泪阜区域与眼球区域相连接部分“湿润区域”的捕捉，有利于提升最终得到的眼干程度评估值的准确性。

当然，也可以基于深度学习方法来更佳精准地获取到泪阜区域的位置；需要说明的是，本公开对于在眼部图像部分中识别泪阜区域的位置的具体算法，不作限定。

在获取到泪阜区域的位置之后，可基于泪阜区域内像素的颜色强度来判断目标评估用图像中的泪阜区域内是否存在反光区域。作为一个示例，检测泪阜区域内是否存在反光像素（即，判断是否存在像素的颜色强度大于0.7*Lmax），若存在反光像素，则可判断出相应泪阜区域内存在反光区域；若不存在反光像素，则可判断出相应泪阜区域内不存在反光区域，无法用于后续的眼干程度的评估，则可从评估用图像集合中剔除相应评估用图像。

需要说明的是，在本公开实施例中利用眼部区域识别子模块和第一剔除子模块对评估用图像集合中的评估用图像进行剔除，和/或利用泪阜区域识别子模块和第二剔除子模块对评估用图像集合中的评估用图像进行剔除，这些技术方案均为本公开中的一些可选实施方案，其不会对本公开的技术方案产生限制。

参见图3所示，在一些实施例中，图像识别模块3包括：反光区域识别子模块和液体反光区域识别子模块。

其中，反光区域识别子模块配置为在图像筛选模块2所筛选出的各评估用图像中的泪阜区域内进行反光区域的识别；

液体反光区域识别子模块配置为针对反光区域识别子模块所识别出的每个反光区域，计算目标反光区域的边缘与所处泪阜区域的边缘之间的最小间距，并当最小间距小于或等于预设间距阈值时，将目标反光区域识别为液体反光区域。

图6为本公开实施例中对泪阜区域中的反光区域进行筛选的一种示意图。如图6所示，泪阜区域内的反光区域表现为高亮特性，可以采用OpenCV自带方法或类似Canny算子、Sobel算子等边缘提取算法来识别泪阜区域中的各反光区域。然而，泪阜区域内的所有反光区域并非均为因液体反光所形成的反光区域，具体地，泪阜区域的中间位置呈现上凸（上凸部分一般不会被液体覆盖），在环境光照射至该上凸部分时会发生反光并呈现红色。因此，泪阜区域内只有靠近于泪阜区域的边缘的反光区域才为液体反光区。

参见图4所示，在一些实施例中，评估模块4包括：划分子模块、分组子模块、第一计算子模块、第二计算子模块和第三计算子模块。

其中，划分子模块配置为将图像筛选模块2所筛选出的全部评估用图像划分为至少两个评估用图像子集，每个评估用图像子集包括多个评估用图像，每个评估用图像子集配置有对应的第二恒定参照物（例如，衣着、眉毛、面部皮肤等），不同评估用图像子集所对应的第二恒定参照物不同。

分组子模块配置为针对每个评估用图像子集，将目标评估用图像子集内全部评估用图像按照各评估用图像所对应的参照物颜色强度平均指数进行分组，得到目标评估用图像子集所对应的至少两个评估用图像组；每个评估用图像组包括至少一个评估用图像，每个评估用图像组中评估用图像的参照物颜色强度平均指数的最大值与最小值之差小于等于预设差值阈值（例如，取值为15、20或25等），位于同一评估用图像子集中的任意两个评估用图像组中评估用图像的参照物颜色强度平均指数的最小值之差的绝对值大于预设差值阈值；其中，参照物颜色强度平均指数为评估用图像内所指定第二恒定参照物的图像部分内全部像素的颜色强度的平均值。

第一计算子模块配置为针对每个评估用图像组，计算目标评估用图像组中全部评估用图像所包括的液体反光像素的数量的平均值，作为目标评估用图像组所对应的眼干程度初步评估值。

第二计算子模块配置为针对每个评估用图像子集，从目标评估用图像子集中剔除所对应眼干程度初步评估值最小的一半目标评估用图像组，并计算目标评估用图像子集中剩余一半目标评估用图像组所对应眼干程度初步评估值的平均值，作为目标评估用图像子集所对应的眼干程度综合评估值。

第三计算子模块配置为对全部目标评估用图像子集的眼干程度综合评估值进行加权求和，作为目标对象的眼干程度评估值。

在本公开实施例中，对图像筛选模块2所筛选出的全部评估用图像划分为至少两个评估用图像子集，且不同评估用图像子集指定有不同的第二恒定参照物，然后根据各评估用图像子集所指定第二恒定参照物的参照物颜色强度平均指数对评估用图像子集进行分组，接着根据各评估用图像组中评估用图像所包括的液体反光像素的数量的平均值，得到标评估用图像组所对应的眼干程度初步评估值，再利用评估用图像子集中眼干程度初步评估值最大的评估用图像组来得到评估用图像子集的眼干程度综合评估值，最后将全部目标评估用图像子集的眼干程度综合评估值进行加权求和，得到目标对象的眼干程度评估值。

其中，对图像筛选模块2所筛选出的全部评估用图像划分为至少两个评估用图像子集且不同评估用图像子集指定有不同的第二恒定参照物，是为了后续能够从不同恒定参照物的角度来对眼干程度进行评估，以提升最终评估结果的精准度。

另外，在计算评估用图像子集所对应的眼干程度综合评估值之前，先剔除所对应眼干程度初步评估值最小的一半目标评估用图像组，这是因为在实际应用中会目标对象不可避免的会存在一些微小晃动，导致眼部图像为非正面图像，此时拍摄模块1所拍摄到的上半身图像中位于泪阜区域内的液体反光像素的数量有所减少。也就是说，评估用图像中从泪阜区域内识别出的液体反光像素的数量越多，该评估用图像进行眼干程度评估时的置信度会越高。也就是说，在同一评估用图像子集内，评估用图像组所对应的眼干程度初步评估值越大，该评估用图像组所对应的眼干程度初步评估值的置信度会越高；故，本公开中第二计算子模块在计算评估用图像子集所对应的眼干程度综合评估值之前，先剔除所对应眼干程度初步评估值最小的一半目标评估用图像组，可以在一定程度上提升最终评估结果的精准度。

作为一个示例，上半身图像还包括衣着图像部分和眉毛图像部分；划分子模块具体配置为将图像筛选模块2所筛选出的全部评估用图像划分为两个评估用图像子集，其中一个评估用图像子集所配置对应的第二恒定参照物为衣着图像部分，另一个评估用图像子集所配置对应的第二恒定参照物为眉毛图像部分。如此设计，其一方面可以在一定程度上保证最终评估结果的精准度，在另一方面也可以有效降低评估过程中的运算难度。

图7为本公开实施例提供的基于图像的眼干程度评估系统的另一种结构框图。如图7所示，在一些实施例该眼干程度评估系统包括：拍摄模块和图像处理服务器；其中，图像处理服务器包括：一个或多个处理器101、存储器102、一个或多个I/O接口103。存储器102上存储有一个或多个程序，当该一个或多个程序被该一个或多个处理器执行，使得该一个或多个处理器实现如上述实施例中图像筛选模块、图像识别模块和评估模块的功能；一个或多个I/O接口103连接在处理器与存储器之间，配置为实现处理器与存储器的信息交互。

其中，处理器101为具有数据处理能力的器件，包括但不限于中央处理器（CPU）等；存储器102为具有数据存储能力的器件，包括但不限于随机存取存储器（RAM，更具体如SDRAM、DDR等）、只读存储器（ROM）、带电可擦可编程只读存储器（EEPROM）、闪存（FLASH）；I/O接口（读写接口）103连接在处理器101与存储器102间，能实现处理器101与存储器102的信息交互，包括但不限于数据总线（Bus）等。

在一些实施例中，处理器101、存储器102和I/O接口103通过总线104相互连接，进而与计算设备的其它组件连接。

在一些实施例中，该一个或多个处理器101包括现场可编程门阵列。

其中，拍摄模块与图像处理服务器之间可通过有线传输或无线传输方式进行数据交互；拍摄模块和图像处理服务器均可以部署在本地；或者，拍摄模块部署于本地，而图像处理服务器部署在云端。本公开对此不作限定。

图8为本公开实施例中眼干程度评估系统进行眼干程度评估过程的一种流程图。如图8所示，该眼干程度评估过程包括：

步骤S1、拍摄模块拍摄位于预设检测位置的目标对象的上半身视频，上半身视频包括多帧上半身图像，上半身图像包括眼部图像部分。

步骤S2、图像筛选模块从上半身视频中筛选出多帧用于后续进行眼干程度评估的上半身图像作为评估用图像。

步骤S3、图像识别模块识别评估用图像中位于眼部图像部分的泪阜区域内的液体反光区域，其中位于液体反光区域内的像素为液体反光像素。

步骤S4、评估模块配置为根据至少部分评估用图像分别所包括的液体反光像素的数量，得到目标对象的眼干程度评估值。

在一些实施例中，图像筛选模块包括切分子模块、参照物选取子模块和筛选模块；步骤S2包括：

步骤S201、切分子模块将上半身视频切分为多个视频段。

步骤S202、参照物选取子模块选取用于后续进行图片筛选的第一恒定参照物；

步骤S203、针对每个视频段，筛选子模块从目标视频段中选取一帧上半身图像作为基准图像，目标视频段中除基准图像之外的其他上半身图像作为待筛选图像，以及从目标视频段中筛选出所包含第一恒定参照物的图像部分与基准图像所包含第一恒定参照物的图像部分之间的图像相似度指标满足预设相似度筛选条件的待筛选图像，并将筛选出的待筛选图像和基准图像作为评估用图像。

在一些实施例中，筛选子模块从全部视频段中所筛选出的全部评估用图像构成评估用图像集合；图像筛选模块还包括：眼部区域识别子模块和第一剔除子模块。在步骤S2中且位于步骤S203之后，还包括：

步骤S204、眼部区域识别子模块识别评估用图像集合中各评估用图像中的眼部图像部分所在区域，评估用图像中位于眼部图像部分所在区域内的像素为眼部像素。

步骤S205、第一剔除子模块从评估用图像集合中剔除所包含眼部像素的数量小于等于预设剔除数量阈值的评估用图像。

在一些实施例中，图像筛选模块还包括：泪阜区域识别子模块和第二剔除子模块。

在步骤S2中且位于步骤S205之后，还包括：

步骤S206、泪阜区域识别子模块从评估用图像集合中各评估用图像中的眼部图像部分所在区域内识别出泪阜区域。

步骤S207、针对评估用图像集合中每个评估用图像，第二剔除子模块检测目标评估用图像中的泪阜区域内是否存在反光区域，并在检测出目标评估用图像中的泪阜区域内不存在反光区域时，从评估用图像集合中剔除目标评估用图像。

在一些实施例中，图像识别模块包括：反光区域识别子模块和液体反光区域识别子模块。步骤S3包括：

步骤S301、反光区域识别子模块在所述图像筛选模块所筛选出的各所述评估用图像中的泪阜区域内进行反光区域的识别；

步骤S302、液体反光区域识别子模块，配置为针对反光区域识别子模块所识别出的每个反光区域，计算目标反光区域的边缘与所处泪阜区域的边缘之间的最小间距，并当最小间距小于或等于预设间距阈值时，将目标反光区域识别为液体反光区域。

在一些实施例中，评估模块包括：划分子模块、分组子模块、第一计算子模块、第二计算子模块和第三计算子模块。步骤S4包括：

步骤S401、划分子模块将图像筛选模块所筛选出的全部评估用图像划分为至少两个评估用图像子集，每个评估用图像子集包括多个评估用图像，每个评估用图像子集指定有对应的第二恒定参照物，不同评估用图像子集所对应的第二恒定参照物不同。

步骤S403、针对每个评估用图像子集，分组子模块将目标评估用图像子集内全部评估用图像按照各评估用图像所对应的参照物颜色强度平均指数进行分组，得到目标评估用图像子集所对应的至少两个评估用图像组，每个评估用图像组包括至少一个评估用图像，每个评估用图像组中评估用图像的参照物颜色强度平均指数的最大值与最小值之差小于等于预设差值阈值，位于同一评估用图像子集中的任意两个评估用图像组中评估用图像的参照物颜色强度平均指数的最小值之差的绝对值大于预设差值阈值，其中参照物颜色强度平均指数为评估用图像内所指定第二恒定参照物的图像部分内全部像素的颜色强度的平均值。

步骤S404、针对每个评估用图像组，第一计算子模块计算目标评估用图像组中全部评估用图像所包括的液体反光像素的数量的平均值，作为目标评估用图像组所对应的眼干程度初步评估值。

步骤S405、针对每个评估用图像子集，第二计算子模块从目标评估用图像子集中剔除所对应眼干程度初步评估值最小的一半目标评估用图像组，并计算目标评估用图像子集中剩余一半目标评估用图像组所对应眼干程度初步评估值的平均值，作为目标评估用图像子集所对应的眼干程度综合评估值；

步骤S406、第三计算子模块对全部目标评估用图像子集的眼干程度综合评估值进行加权求和，作为目标对象的眼干程度评估值。

对于上述各步骤的具体描述，可参见前面实施例中对相应模块的描述内容，此处不再赘述。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

可以理解的是，以上实施方式仅仅是为了说明本公开的原理而采用的示例性实施方式，然而本公开并不局限于此。对于本领域内的普通技术人员而言，在不脱离本公开的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本公开的保护范围。

Claims (10)

1.一种基于图像的眼干程度评估系统，其特征在于，包括：

拍摄模块，配置为拍摄位于预设检测位置的目标对象的上半身视频，所述上半身视频包括多帧上半身图像，所述上半身图像包括眼部图像部分；

图像筛选模块，配置为从所述上半身视频中筛选出多帧用于后续进行眼干程度评估的所述上半身图像作为评估用图像；

图像识别模块，配置为识别所述评估用图像中位于所述眼部图像部分的泪阜区域内的液体反光区域，其中位于所述液体反光区域内的像素为液体反光像素；

评估模块，配置为根据至少部分所述评估用图像分别所包括的液体反光像素的数量，得到所述目标对象的眼干程度评估值。

2.根据权利要求1所述的眼干程度评估系统，其特征在于，所述图像筛选模块包括：

切分子模块，配置为将所述上半身视频切分为多个视频段；

参照物选取子模块，配置为选取用于后续进行图片筛选的第一恒定参照物；

筛选子模块，配置为针对每个所述视频段，从目标视频段中选取一帧上半身图像作为基准图像，所述目标视频段中除所述基准图像之外的其他上半身图像作为待筛选图像，以及从目标视频段中筛选出所包含第一恒定参照物的图像部分与所述基准图像所包含第一恒定参照物的图像部分之间的图像相似度指标满足预设相似度筛选条件的待筛选图像，并将筛选出的所述待筛选图像和所述基准图像作为评估用图像。

3.根据权利要求2所述的眼干程度评估系统，其特征在于，所述上半身图像还包括衣着图像部分和眉毛图像部分；

所述参照物选取子模块包括：

第一检测单元，配置为从上半身视频中选取一帧上半身图像作为目标上半身图像，并判断所述目标上半身图像所包含所述衣着图像部分中所有像素的颜色强度的平均值是否小于第一预设强度阈值；

参照物选取单元，配置为在所述第一检测单元检测出所述目标上半身图像所包含所述衣着图像部分中所有像素的颜色强度的平均值小于第一预设强度阈值时，选取所述衣着图像部分作为所述第一恒定参照物，以及在所述第一检测单元检测出所述目标上半身图像所包含所述衣着图像部分中所有像素的颜色强度的平均值大于或等于第一预设强度阈值时，选取所述眉毛图像部分作为所述第一恒定参照物。

4.根据权利要求2所述的眼干程度评估系统，其特征在于，所述切分子模块包括：

计算单元，配置为针对上半身视频中每相邻两帧上半身图像，计算目标相邻两帧上半身图像之间的结构相似性指数以及L2范数差异指数；

切分单元，配置为在目标相邻两帧上半身图像之间的结构相似性指数小于第一预设相似度阈值和/或L2范数差异指数大于预设差异度阈值时，在所述目标相邻两帧上半身图像之间进行切分。

5.根据权利要求2所述的眼干程度评估系统，其特征在于，所述图像相似度指标包括：结构相似性指数、均方误差指数和峰值信噪比指数；

所述筛选子模块包括：

选取单元，配置为针对每个所述视频段，选取目标视频段中的第一帧上半身图像作为基准图像，或者，配置为针对每个所述视频段，确定目标视频段中每一帧所述上半身图像所包含第一恒定参照物的图像部分的区域亮度，并选取区域亮度中位数所对应的上半身图像作为所述基准图像；

第一筛选单元，配置为针对每个所述视频段，从目标视频段中筛选出满足：所包含第一恒定参照物的图像部分与所述基准图像所包含第一恒定参照物的图像部分之间的结构相似性指数大于等于第二预设相似度阈值、均方误差指数小于等于预设均方误差阈值且峰值信噪比指数小于等于预设峰值信噪比阈值的待筛选图像。

6.根据权利要求2至5中任一所述的眼干程度评估系统，其特征在于，所述筛选子模块从全部所述视频段中所筛选出的全部所述评估用图像构成评估用图像集合；

所述图像筛选模块还包括：

眼部区域识别子模块，配置为识别所述评估用图像集合中各所述评估用图像中的眼部图像部分所在区域，所述评估用图像中位于眼部图像部分所在区域内的像素为眼部像素；

第一剔除子模块，配置为从所述评估用图像集合中剔除所包含眼部像素的数量小于等于预设剔除数量阈值的评估用图像。

7.根据权利要求6所述的眼干程度评估系统，其特征在于，所述图像筛选模块还包括：

泪阜区域识别子模块，配置为从所述评估用图像集合中各所述评估用图像中的眼部图像部分所在区域内识别出泪阜区域；

第二剔除子模块，配置为针对所述评估用图像集合中每个评估用图像，检测目标评估用图像中的所述泪阜区域内是否存在反光区域，并在检测出所述目标评估用图像中的所述泪阜区域内不存在反光区域时，从所述评估用图像集合中剔除所述目标评估用图像。

8.根据权利要求1所述的眼干程度评估系统，其特征在于，所述图像识别模块包括：

反光区域识别子模块，配置为在所述图像筛选模块所筛选出的各所述评估用图像中的泪阜区域内进行反光区域的识别；

液体反光区域识别子模块，配置为针对所述反光区域识别子模块所识别出的每个所述反光区域，计算目标反光区域的边缘与所处所述泪阜区域的边缘之间的最小间距，并当所述最小间距小于或等于预设间距阈值时，将所述目标反光区域识别为所述液体反光区域。

9.根据权利要求1所述的眼干程度评估系统，其特征在于，所述评估模块包括：

划分子模块，配置为将所述图像筛选模块所筛选出的全部所述评估用图像划分为至少两个评估用图像子集，每个评估用图像子集包括多个评估用图像，每个所述评估用图像子集指定有对应的第二恒定参照物，不同所述评估用图像子集所对应的第二恒定参照物不同；

分组子模块，配置为针对每个所述评估用图像子集，将目标评估用图像子集内全部评估用图像按照各评估用图像所对应的参照物颜色强度平均指数进行分组，得到所述目标评估用图像子集所对应的至少两个评估用图像组，每个所述评估用图像组包括至少一个评估用图像，每个评估用图像组中评估用图像的参照物颜色强度平均指数的最大值与最小值之差小于等于预设差值阈值，位于同一所述评估用图像子集中的任意两个所述评估用图像组中评估用图像的参照物颜色强度平均指数的最小值之差的绝对值大于所述预设差值阈值，其中所述参照物颜色强度平均指数为所述评估用图像内所指定第二恒定参照物的图像部分内全部像素的颜色强度的平均值；

第一计算子模块，配置为针对每个所述评估用图像组，计算目标评估用图像组中全部评估用图像所包括的液体反光像素的数量的平均值，作为目标评估用图像组所对应的眼干程度初步评估值；

第二计算子模块，配置为针对每个所述评估用图像子集，从目标评估用图像子集中剔除所对应眼干程度初步评估值最小的一半目标评估用图像组，并计算目标评估用图像子集中剩余一半目标评估用图像组所对应眼干程度初步评估值的平均值，作为所述目标评估用图像子集所对应的眼干程度综合评估值；

第三计算子模块，配置为对全部所述目标评估用图像子集的眼干程度综合评估值进行加权求和，作为所述目标对象的眼干程度评估值。

10.根据权利要求9所述的眼干程度评估系统，其特征在于，所述上半身图像还包括衣着图像部分和眉毛图像部分；

所述划分子模块具体配置为将所述图像筛选模块所筛选出的全部所述评估用图像划分为两个评估用图像子集，其中一个评估用图像子集所配置对应的第二恒定参照物为衣着图像部分，另一个评估用图像子集所配置对应的第二恒定参照物为眉毛图像部分。