CN113658083B - 一种眼球图像噪声消除方法、系统、装置及介质 - Google Patents
一种眼球图像噪声消除方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN113658083B CN113658083B CN202111213729.3A CN202111213729A CN113658083B CN 113658083 B CN113658083 B CN 113658083B CN 202111213729 A CN202111213729 A CN 202111213729A CN 113658083 B CN113658083 B CN 113658083B
- Authority
- CN
- China
- Prior art keywords
- eyeball
- image
- images
- viewpoint position
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000005252 bulbus oculi Anatomy 0.000 title claims abstract description 260
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000008030 elimination Effects 0.000 title claims description 20
- 238000003379 elimination reaction Methods 0.000 title claims description 20
- 238000001914 filtration Methods 0.000 claims abstract description 120
- 238000011156 evaluation Methods 0.000 claims abstract description 84
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000012937 correction Methods 0.000 claims abstract description 33
- 238000013076 uncertainty analysis Methods 0.000 claims abstract description 22
- 210000001508 eye Anatomy 0.000 claims description 56
- 230000000875 corresponding effect Effects 0.000 claims description 35
- 238000005070 sampling Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000009826 distribution Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种眼球图像噪声消除方法、系统、装置及介质，通过获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像。本方法能够提高对眼球图像噪声消除的效果，可广泛应用于图像处理技术领域内。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种眼球图像噪声消除方法、系统、装置及介质。
背景技术
相较于人眼二维显示的方案，人眼三维显示能够在一定程度上客观地显示人眼的景象，对人眼的描述更加丰富和准确，因此人眼三维显示技术在科研和医疗等领域广泛受到关注。目前，相关技术中，人眼三维显示技术以扫描成像为主，即通过图像采集设备以设定采样时间间隔连续多次采集人眼图像，然后提取每张人眼图像中的眼球特征，最后将图像和提取的眼球特征齐同输入三维成像设备，得到三维成像结果。
但在，上述人眼三维显示技术中，通过图像采集设备拍摄人眼图像，由于拍摄环境的光线影响，以及图像采集设备、被采集者的抖动问题，经常会使得到的图像存在较多噪声，图像品质较差，进而影响三维成像及显示的效果。
综上，相关技术中存在的问题亟需得到解决。
发明内容
本发明旨在至少解决现有技术中存在的技术问题。为此，本发明提出一种眼球图像噪声消除方法、系统、装置及介质，能够提高对眼球图像噪声消除的效果，有利于改善采集得到的眼球图像的质量。
本发明的第一方面，提供了一种眼球图像噪声消除方法，包括以下步骤：
获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；
根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；
根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；
提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；
根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像。
根据本发明的一些实施例，所述对所述图像数据进行偶然不确定性分析，得到不确定性评分，包括：
将所述图像数据输入到混合密度网络模型，得到所述混合密度网络模型输出的方差；
根据所述方差，确定所述不确定性评分。
根据本发明的一些实施例，所述根据所述方差，确定所述不确定性评分，包括：
确定各个所述图像数据对应的方差和眼球图像；
对所述眼球图像中所述第一视点位置和所述第二视点位置之间的距离进行归一化处理，得到所述图像数据对应的参考权重；
根据图像数据对应的所述参考权重，对所述方差进行加权求和，得到所述不确定性评分；
其中，对所述方差进行加权求和采用的公式为：
式中，Q表示不确定性评分，i表示评估图像集中的眼球图像的编号，n表示评估图像集中的眼球图像的个数，λi表示评估图像集中第i个眼球图像的图像数据对应的参考权重，ei表示评估图像集中第i个眼球图像的图像数据对应的方差。
根据本发明的一些实施例，所述获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置，包括如下步骤：
通过预设的采样周期采集得到多张所述眼球图像，其中，各个所述眼球图像的采集区域相同；
根据每张所述眼球图像中的眼球视点在所述采集区域内的位置坐标，得到所述第一视点位置。
根据本发明的一些实施例，所述根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，包括：
确定每张所述眼球图像中第一视点位置和所述第二视点位置之间的第一距离；
计算各个所述第一距离的平均值，得到第二距离；
根据所述第二距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。
根据本发明的一些实施例，所述根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，包括：
确定每张所述眼球图像中第一视点位置和所述第二视点位置之间的第一距离；
将所有所述第一距离中的最大值确定为第三距离；
根据所述第三距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。
根据本发明的一些实施例，所述根据所述第三距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，包括：
根据所述第三距离的大小，确定采样比例；所述采样比例和所述第三距离的大小正相关；
从所述多张眼球图像随机选取所述采样比例的眼球图像，得到所述评估图像集。
本发明的第二方面，提供了一种眼球抖动噪声消除系统，包括：
获取单元，用于获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；
第一滤波单元，用于根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；
选取单元，用于根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；
分析单元，用于提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；
第二滤波单元，用于根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像。
本发明的第三方面，提供了一种眼球抖动噪声消除装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请上述的眼球图像噪声消除方法。
本发明的第四方面，提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如本申请上述的眼球图像噪声消除方法。
本发明第一方面提供了一种眼球图像噪声消除方法，本方法包括两部分，第一部分首先获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。该部分内容通过眼球视点的距离量化眼球图像中的抖动噪声情况，根据抖动噪声来确定参与不确定性评估的评估图像集，能够有效减轻后续模型不确定性分析的数据处理压力，同时兼顾图像处理的质量。第二部分提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像。第二部分的内容通过对评估图像集中的图像数据进行不确定性分析，基于不确定性评分量化其中的噪声程度，并根据不确定性评分确定滤波强度的合适等级，从而匹配出对应的校正滤波强度，并基于校正滤波强度对眼球图像进行滤波处理，从而得到校正后的眼球图像。本方法能够依据不同的眼球图像噪声情况，实现对滤波强度进行适应性的调节，能够提高对眼球图像噪声消除的效果，有利于改善采集得到的眼球图像的质量。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例提供的执行一种眼球图像噪声消除方法的系统架构示意图；
图2为本发明一个实施例提供的一种眼球图像噪声消除方法的流程示意图；
图3为本发明一个实施例提供的一种眼球图像的滤波前后示意图；
图4为本发明一个实施例提供的一种选取评估图像集的示意图；
图5为本发明一个实施例提供的一种眼球图像噪声消除方法的执行过程示意图；
图6为本发明一个实施例提供的一种眼球抖动噪声消除装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
相较于人眼二维显示的方案，人眼三维显示能够在一定程度上客观的显示人眼的景象，对人眼的描述更加丰富和准确，因此人眼三维显示技术在科研和医疗等领域广泛受到关注。目前的人眼三维显示技术以扫描成像为主，即通过采集设备以设定采样时间间隔连续多次采集人眼图像，然后提取每张人眼图像中的眼球特征，最后将图像和提取的眼球特征齐同输入三维成像设备，得到三维成像结果。但在，在通过图像采集设备拍摄人眼图像时，由于拍摄环境的光线影响，以及图像采集设备、被采集者的抖动问题，经常会使得到的图像存在较多噪声，品质较差，影响三维成像及显示的效果。相关技术中，主要是通过设置好固定参数的滤波器对图像中的噪声进行过滤，从而对眼球图像进行校正。但该方案的校正准确度不高，其主要原因是因为不同采集环境下得到的图像，其噪声含量是有很大区别的，而基于预设的固定滤波强度对图像进行统一处理，无法对滤波强度进行适应性的调节，导致滤波强度和图像噪声匹配性较低，故而校正的准确度不高。
为了解决上述技术缺陷，本方案首先获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，通过眼球视点的距离量化眼球图像中的抖动噪声情况，根据抖动噪声来确定参与不确定性评估的评估图像集，能够有效减轻后续模型不确定性分析的数据处理压力，同时兼顾图像处理的质量。接着，提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像，通过对评估图像集中的图像数据进行不确定性分析，基于不确定性评分量化其中的噪声程度，并根据不确定性评分确定滤波强度的合适等级，从而匹配出对应的校正滤波强度，并基于校正滤波强度对眼球图像进行滤波处理，从而得到校正后的眼球图像。本方法能够依据不同的眼球图像噪声情况，实现对滤波强度进行适应性的调节，能够提高对眼球图像噪声消除的效果，有利于改善采集得到的眼球图像的质量。
本申请一个实施例提供的眼球图像噪声消除方法可以在终端设备中执行。终端设备可以为移动电子设备，也可以为非移动电子设备。移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机、上网本、个人数字助理等；非移动电子设备可以为个人计算机、电视机、柜员机或者自助机等；本申请实施方案不作具体限定。终端设备中可以包括处理器，外部存储器接口，内部存储器，通用串行总线(universal serial bus，USB)接口，充电管理模块，电源管理模块，电池，天线，移动通信模块，无线通信模块，音频模块，扬声器，受话器，麦克风，耳机接口，传感器模块，按键，马达，指示器，摄像头，显示屏，以及用户标识模块(Subscriber Identification Module，SIM)卡接口等。
下面结合附图，对本申请实施例作进一步阐述。
参照图1，是本申请一个实施例提供的用于执行一种眼球图像噪声消除方法的系统架构示意图，在图1的示例中，该系统架构主要包括但不限于相互电连接的获取单元110、第一滤波单元120、选取单元130、分析单元140和第二滤波单元150，其中：
获取单元110，用于获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；
第一滤波单元120，用于根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；
选取单元130，用于根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；
分析单元140，用于提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；
第二滤波单元150，用于根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像。
本申请实施例描述的系统架构以及应用场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着系统架构的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1中示出的系统架构并不构成对本申请实施例的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
为了解决上述技术缺陷，参照图2，本发明提供了一种眼球图像噪声消除方法，方法包括如下步骤：
步骤S100、获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；
在本实施例的步骤S100中，假设，采集设备在固定位置上以间隔时间0.25秒的采样周期连续采集得到多张所述眼球图像。此处，0.25s可以是预先设置好的采样周期，当然，其具体的时间长短可以根据需要灵活调整，本申请不作限制。采集设备拍摄目标对象的眼球图像，需要注意的是，本申请的目标对象是指的目标用户的人眼区域。在一次采集过程中，可以认为采集设备与目标对象之间的相对位置是不发生变化的，因此连续采集的多张眼球图像中，每一张眼球图像中的采集区域是相同的，并且包含着目标对象的眼球视点（需要注意的是，本申请不考虑目标对象发生闭眼的情况，假设每张眼球图像中都存在着目标对象的眼球视点）。对于采集到的多张眼球图像，可以通过图像识别技术确定它们中的眼球视点的位置，该位置可以用眼球视点在统一的采集区域内的位置坐标来表述，将这些眼球图像中眼球视点在采集区域内的位置坐标记为第一视点位置。
步骤S200、根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的所述眼球图像中的第二视点位置；
在本实施例的步骤S200中，使用图像滤波算法，通过基准滤波强度对眼球图像进行滤波处理，将本次滤波处理记为第一滤波处理。此处，基准滤波强度可以是事先确定的一个常用滤波强度，即对每个眼球图像，都采用该滤波强度的滤波参数对图像进行滤波处理，该强度可以根据用户的使用习惯和经验值设定。对于眼球图像来说，其内可能含有多种噪声，对于人眼三维显示存在不利的影响。而由于眼球图像中，眼球视点的特征对三维成像十分重要，故而因采集设备或者被采集者抖动产生的噪声需要被重点关注。可以理解的是，即当抖动噪声影响较大时，所需要的滤波强度也需要对应增强，以对眼球图像进行更好的校正。为了衡量眼球图像中的抖动噪声影响程度，可以先采用基准滤波强度的滤波对眼球图像进行处理，得到滤波后的眼球图像，然后确认滤波后的眼球图像中的眼球视点的位置，记为第二视点位置。本申请实施例中，第二视点位置的记录方式可以和第一视点位置的记录方式相同，在此不再赘述。参照图3，图3中给出了一种通过滤波算法对眼球图像处理前后的眼球视点位置变化示意图，在图3中，原始眼球图像31中包括了第一眼球视点311，滤波后的眼球图像32中包括了第二眼球视点321，原始眼球图像31和滤波后的眼球图像32本身的采集区域是对应的，但滤波后，第二眼球视点321相当于原始的第一眼球视点311的位置发生了一定程度的偏移，该偏移就是由抖动噪声引起的，在采集原始眼球图像31时，抖动噪声的强度越高，偏移量越大。
步骤S300，根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；
在本实施例的步骤S300中，根据第一视点位置和第二视点位置之间的距离大小，可以量化出抖动噪声影响的程度。例如若当前采集时刻采集的眼球图像中的眼球视点发生了抖动，则滤波后被消除一部分抖动噪声的眼球图像中，眼球视点和原来的位置存在一定距离。抖动噪声影响越大，采用基准滤波强度的第一滤波处理前后得到的眼球视点位置偏差越大。而需要注意的是，眼球图像中也包括其他类型的干扰噪声，也会影响需要的滤波强度。故而本申请实施例中，可以对选择对眼球图像进行不确定性评估，以量化眼球图像的整体噪声情况。由于不确定性评估需要基于相关的模型对图像数据进行批量处理，为了减少数据处理的压力和资源的消耗，本申请中可以根据抖动噪声的多少，选择输入到模型进行不确定性分析的图像数量。即可以根据第一视点位置和第二视点位置间的距离，从连续采集的多张眼球图像中选取部分图像作为评估图像集。
步骤S400、提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；
在本实施例的步骤S400中，根据前述选定的评估图像集中，提取评估图像集中眼球图像的图像数据，然后对图像数据进行偶然不确定性分析。偶然不确定性（AleatoricUncertainty）也叫统计不确定性。它的意思是在给定模型的情况下，在模拟的过程中出现的不确定性有多大，偶然不确定性的评分大小是由于观测数据（即图像数据）中的固有噪声导致的，故而也可以称为数据不确定性。
具体地，本申请实施例中，在对图像数据进行偶然不确定性分析时，可以采用混合密度网络模型（Mixture Density Networks）建模一个识别图像中眼球视点位置的任务。混合密度网络模型的输出层和一般的机器学习模型不同，其输出的是结果的概率分布形式（例如包括多个眼球视点的位置坐标和它们对应的概率），包括均值和方差两个指标。因此，混合密度网络模型具有更好的多峰分布拟合能力，属于对条件概率密度建模的框架之一。
对于输入的图像数据，混合密度网络模型提供了一种通用的架构，将输出建模为呈现出概率分布的形式。从概率的角度来说，理论上多个高斯分布的加权和可以近似任何概率分布，所以一般该模型中采用多个高斯分布的加权和表示模型的输出，从而取得理想的概率分布的效果。具体地，混合密度网络模型输出的概率分布可以通过如下公式表示：
式中，
表示图像数据x对应的输出结果y的概率分布；C表示参与加权的
分布的个数，例如当需要混合3个高斯分布作为输出结果的概率分布时，C=3；
表示每个
分布的权重参数，总的权重和一般设置为1。
采用混合密度网络模型对图像数据进行分析时，模型输出的方差即表征了模型对数据评估的可靠程度：模型输出的方差越大，则说明图像数据中的噪声越多，该图像数据越不可靠；模型输出的方差越小，则说明图像数据中的噪声越少，该图像越可靠。因此，本步骤中，可以根据方差确定图像数据的不确定性评分，例如直接将各个图像数据对应的方差均值作为整个评估图像集中图像数据的不确定性评分。
步骤S500、根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像。
在本实施例的步骤S500中，由于不确定性评分更好地量化了图像数据中的噪声丰度，故而可以根据不确定性评分来确定需要的滤波强度，将确定的滤波强度记为校正滤波强度。可以理解的是，本申请中，校正滤波强度的级别和不确定性评分的大小正相关，即不确定性评分越高，说明图像数据中的噪声越多，故而可以选择强度更高的滤波参数；反之，不确定性评分越低，说明图像数据中的噪声越少，此时可以选择强度较低的滤波参数。具体地，在一些可选的实施方式中，可以建立不确定性评分和校正滤波强度的匹配表，根据不确定性评分的数值，通过查表的方式选择合适的滤波强度。在确定好校正滤波强度后，使用滤波器对（原始的）眼球图像进行滤波处理，将此次滤波处理记为第二滤波处理，从而得到校正后的眼球图像。可以理解的是，在进行第二滤波处理时，由于选择的滤波强度和图像数据中的噪声丰度是匹配的，故而能够得到更好的滤波效果，减少了图像滤波强度过低导致图像噪声消除不足等情况的发生，有利于提高得到的图像质量。
需要补充说明的是，本申请实施例度眼球图像进行滤波处理时，所使用的滤波器可以为低通滤波器，例如可以是低通巴特沃斯滤波器，相较于常见的应用于眼球图像滤波处理中的小波低通滤波器、高斯低通滤波器以及One Euro滤波器，巴特沃斯滤波器的特点是通频带内的频率响应曲线最大限度平坦，没有起伏。通过低通巴特沃斯滤波器能够消除眼球图像中的噪声，且响应迅速，整体延迟较低。在步骤S500中，通过对低通滤波器进行精确调整，从而使得调整强度之后的低通滤波器能够对眼球图像的进行精确校正，更好地消除图像噪声。需要注意的是，滤波强度的等级范围取值可以是[0,1]之间的任意值，而通过滤波强度的等级数值去调节低通巴特沃斯滤波器的滤波强度属于现有技术，例如在图像处理软件（如Matlab）中配置低通巴特沃斯滤波器时调节对应的滤波参数，此处不再细述。
在一些可选的实施方式中，本申请中的步骤S300，可以通过以下步骤实现：
步骤S301、确定每张所述眼球图像中第一视点位置和所述第二视点位置之间的第一距离；
步骤S302、计算各个所述第一距离的平均值，得到第二距离；
步骤S303、根据所述第二距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。
在本实施例中，根据第一视点位置和所述第二视点位置之间的距离确定选择评估图像集时，可以首先计算各个眼球图像中第一视点位置和所述第二视点位置之间的距离，记为第一距离；然后，根据全部的第一距离的均值确定第二距离，第二距离越大，说明整体上这组眼球图像中的抖动噪声越强，需要更精准地评估整体的噪声程度，以选择合适的滤波强度，故而可以选择较多的眼球图像组成评估图像集。对于第二距离较小的一组眼球图像，说明其中的抖动噪声很弱，可能不同级别的滤波强度均能实现较好的滤波，对于滤波强度的适配要求不高，所以可以选择较少的眼球图像组成评估图像集，减轻模型评估不确定性的数据处理压力，提高硬件资源的利用效率。具体地，比如说，本申请中采集得到了50张眼球图像，可以设置一个距离阈值，当第二距离大于或者等于距离阈值时，可以从中选择30张作为评估图像集；当第二距离小于距离阈值时，可以从中选择10张作为评估图像集。需要注意的是，这里的数值仅用于作为示例，不能作为选取数量的限制，本领域技术人员可以根据实际情况选择评估图像集中眼球图像的具体数量。
在另一些可选的实施方式中，本申请中的步骤S300，可以通过以下步骤实现：
步骤S304、确定每张所述眼球图像中第一视点位置和所述第二视点位置之间的第一距离；
步骤S305、将所有所述第一距离中的最大值确定为第三距离；
步骤S306、根据所述第三距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。
在本实施例中，类似地，也可以根据第一距离中的最大值确定评估图像集中需要选取的眼球图像数量，将第一距离中的最大值记为第三距离。同样地，第三距离越大，可以选择越多的眼球图像作为评估图像集。例如，可以根据第三距离的大小，确定一个采样比例，采样比例的大小在0~100%之间，且和第三距离的大小正相关。然后根据采样比例，从多张眼球图像随机选取该采样比例的眼球图像，得到评估图像集。参照图4，比如说确定的采样比例为40%，则可以从原始图像集41中位于前60%的部分眼球图像中任选一个眼球图像作为起始点，向后取占总数40%的眼球图像作为评估图像，得到评估图像集42。
在前述的实施例中，在步骤S400中根据混合密度网络模型输出的方差确定不确定性评分时，采用了对图像数据对应的方差求均值的方式。在一些可选的实施方式中，根据混合密度网络模型输出的方差确定不确定性评分时，也可以通过以下步骤实现：
步骤S401、确定各个所述图像数据对应的方差和眼球图像；
步骤S402、对所述眼球图像中所述第一视点位置和所述第二视点位置之间的距离进行归一化处理，得到所述图像数据对应的参考权重；
步骤S403、根据图像数据对应的所述参考权重，对所述方差进行加权求和，得到所述不确定性评分。
本申请实施例中，可以确定每个图像数据对应混合密度网络模型输出的方差，以及其对应的眼球图像；然后根据眼球图像中第一视点位置和所述第二视点位置之间的距离（记为第一距离），确定图像数据对应的参考权重，具体的公式如下：
式中，i表示评估图像集中的眼球图像的编号，n表示评估图像集中的眼球图像的个数，λi表示评估图像集中第i个眼球图像的图像数据对应的参考权重，Si表示评估图像集中第i个眼球图像的图像数据对应的第一距离，i和n为正整数。
然后，可以根据图像数据对应的参考权重和方差，加权求和确定出不确定性评分，具体的公式如下：
式中，Q表示不确定性评分，i表示评估图像集中的眼球图像的编号，n表示评估图像集中的眼球图像的个数，λi表示评估图像集中第i个眼球图像的图像数据对应的参考权重，ei表示评估图像集中第i个眼球图像的图像数据对应的方差；i和n为正整数。
参照图5，下面结合一个完整的具体实施例对本申请的实现过程进行说明。
本申请中，通过采集设备采集批量的图像，得到原始的眼球图像，这些图像是未经过滤波处理的图像，含有较多的噪声，图像质量较差。接着，对这些原始的眼球图像进行第一滤波处理，然后可以得到滤波后的眼球图像，基于滤波前后眼球图像中眼球视点的距离变化，可以确定这批图像中抖动噪声的含量。根据上述的确定的距离变化数值，从原始图像中选取若干的眼球图像，得到评估图像集，评估图像集中眼球图像的数量和距离变化数值正相关。将评估图像集中的眼球图像的图像数据输入到混合密度网络模型中进行不确定性分析，得到对应的不确定性评分，该评分以量化形式表征了眼球图像的图像数据中噪声的丰度，然后可以根据不确定性评分确定出这批图像合适的校正滤波强度，从而可以基于校正滤波强度对眼球图像进行第二滤波处理，得到校正后的眼球图像。
可以理解的是，本申请中，通过眼球视点的距离量化眼球图像中的抖动噪声情况，根据抖动噪声来确定参与不确定性评估的评估图像集，能够有效减轻后续模型不确定性分析的数据处理压力；并且，通过对评估图像集中的图像数据进行不确定性分析，基于不确定性评分量化其中的噪声程度，并根据不确定性评分确定滤波强度的合适等级，从而匹配出对应的校正滤波强度，并基于校正滤波强度对眼球图像进行滤波处理得到校正后的眼球图像，能够依据不同的眼球图像噪声情况，实现对滤波强度进行适应性的调节，能够提高对眼球图像噪声消除的效果，有利于改善采集得到的眼球图像的质量。
参照图6，本申请的一个实施例提供了一种眼球抖动噪声消除装置，该装置包括：存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序。
处理器620和存储器610可以通过总线或者其他方式连接。
存储器610作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器610可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器610可选包括相对于处理器620远程设置的存储器610，这些远程存储器可以通过网络连接至该处理器620。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
需要说明的是，本实施例中的终端设备能够构成图1所示实施例中的系统架构的一部分，这些实施例均属于相同的发明构思，因此这些实施例具有相同的实现原理以及技术效果，此处不再详述。
实现上述实施例的眼球图像噪声消除方法所需的非暂态软件程序以及指令存储在存储器610中，当被处理器620执行时，执行上述实施例方法，例如，执行以上描述的图2中的方法步骤S100至S500。
以上所描述的终端实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
此外，本申请实施例的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器620或控制器执行，例如，被上述系统实施例中的一个处理器620执行，可使得上述处理器620执行上述实施例中的眼球图像噪声消除方法，例如，执行以上描述的图2中的方法步骤S100至S500。又如，被上述装置实施例中的一个处理器620执行，可使得上述处理器620执行上述实施例中的眼球图像噪声消除方法，例如，执行以上描述的图2中的方法步骤S100至S500。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器620，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本申请的较佳实施进行了具体说明，但本申请并不限于实施例，熟悉本领域的技术人员在不违背本申请精神的前提下可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种眼球图像噪声消除方法，其特征在于，包括以下步骤：
获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；
根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；
根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；
提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；
根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像；
所述对所述图像数据进行偶然不确定性分析，得到不确定性评分，包括：
将所述图像数据输入到混合密度网络模型，得到所述混合密度网络模型输出的方差；
根据所述方差，确定所述不确定性评分；
所述根据所述方差，确定所述不确定性评分，包括：
确定各个所述图像数据对应的方差和眼球图像；
对所述眼球图像中所述第一视点位置和所述第二视点位置之间的距离进行归一化处理，得到所述图像数据对应的参考权重；
根据图像数据对应的所述参考权重，对所述方差进行加权求和，得到所述不确定性评分；
其中，对所述方差进行加权求和采用的公式为：
式中，Q表示不确定性评分，i表示评估图像集中的眼球图像的编号，n表示评估图像集中的眼球图像的个数，λi表示评估图像集中第i个眼球图像的图像数据对应的参考权重，ei表示评估图像集中第i个眼球图像的图像数据对应的方差。
2.根据权利要求1所述的眼球图像噪声消除方法，其特征在于，所述获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置，包括如下步骤：
通过预设的采样周期采集得到多张所述眼球图像，其中，各个所述眼球图像的采集区域相同；
根据每张所述眼球图像中的眼球视点在所述采集区域内的位置坐标，得到所述第一视点位置。
3.根据权利要求1所述的眼球图像噪声消除方法，其特征在于，所述根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，包括：
确定每张所述眼球图像中第一视点位置和所述第二视点位置之间的第一距离；
计算各个所述第一距离的平均值，得到第二距离；
根据所述第二距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。
4.根据权利要求1所述的眼球图像噪声消除方法，其特征在于，所述根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，包括：
确定每张所述眼球图像中第一视点位置和所述第二视点位置之间的第一距离；
将所有所述第一距离中的最大值确定为第三距离；
根据所述第三距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集。
5.根据权利要求4所述的眼球图像噪声消除方法，其特征在于，所述根据所述第三距离的大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集，包括：
根据所述第三距离的大小，确定采样比例；所述采样比例和所述第三距离的大小正相关；
从所述多张眼球图像随机选取所述采样比例的眼球图像，得到所述评估图像集。
6.一种眼球图像噪声消除系统，其特征在于，包括：
获取单元，用于获取连续采集的多张眼球图像，确定所述眼球图像中的第一视点位置；
第一滤波单元，用于根据基准滤波强度对所述眼球图像进行第一滤波处理，确定滤波后的眼球图像中的第二视点位置；
选取单元，用于根据所述第一视点位置和所述第二视点位置之间的距离大小，从所述多张眼球图像选取若干眼球图像，得到评估图像集；
分析单元，用于提取所述评估图像集中的眼球图像的图像数据，并对所述图像数据进行偶然不确定性分析，得到不确定性评分；
第二滤波单元，用于根据所述不确定性评分确定校正滤波强度，并通过所述校正滤波强度对所述眼球图像进行第二滤波处理，得到校正后的眼球图像；
所述对所述图像数据进行偶然不确定性分析，得到不确定性评分，包括：
将所述图像数据输入到混合密度网络模型，得到所述混合密度网络模型输出的方差；
根据所述方差，确定所述不确定性评分；
所述根据所述方差，确定所述不确定性评分，包括：
确定各个所述图像数据对应的方差和眼球图像；
对所述眼球图像中所述第一视点位置和所述第二视点位置之间的距离进行归一化处理，得到所述图像数据对应的参考权重；
根据图像数据对应的所述参考权重，对所述方差进行加权求和，得到所述不确定性评分；
其中，对所述方差进行加权求和采用的公式为：
式中，Q表示不确定性评分，i表示评估图像集中的眼球图像的编号，n表示评估图像集中的眼球图像的个数，λi表示评估图像集中第i个眼球图像的图像数据对应的参考权重，ei表示评估图像集中第i个眼球图像的图像数据对应的方差。
7.一种眼球图像噪声消除装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现：如权利要求1至5任一项所述的眼球图像噪声消除方法。
8.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行：如权利要求1至5任一项所述的眼球图像噪声消除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111213729.3A CN113658083B (zh) | 2021-10-19 | 2021-10-19 | 一种眼球图像噪声消除方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111213729.3A CN113658083B (zh) | 2021-10-19 | 2021-10-19 | 一种眼球图像噪声消除方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658083A CN113658083A (zh) | 2021-11-16 |
| CN113658083B true CN113658083B (zh) | 2022-01-18 |
Family
ID=78494658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111213729.3A Active CN113658083B (zh) | 2021-10-19 | 2021-10-19 | 一种眼球图像噪声消除方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658083B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011394A (zh) * | 2021-04-26 | 2021-06-22 | 吉林大学 | 一种眼动数据预处理方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5804760B2 (ja) * | 2011-04-26 | 2015-11-04 | 株式会社東芝 | 画像処理システム及び方法 |
| ES2917214T3 (es) * | 2019-10-07 | 2022-07-07 | Optos Plc | Sistema de formación de imágenes oftálmicas |
| CN111552389B (zh) * | 2020-05-11 | 2023-04-28 | Oppo广东移动通信有限公司 | 注视点抖动消除方法、装置及存储介质 |
-
2021
- 2021-10-19 CN CN202111213729.3A patent/CN113658083B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011394A (zh) * | 2021-04-26 | 2021-06-22 | 吉林大学 | 一种眼动数据预处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658083A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214337B (zh) | 一种人群统计方法、装置、设备及计算机可读存储介质 | |
| CN107590461B (zh) | 人脸识别方法及相关产品 | |
| US20220092882A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| CN107463818B (zh) | 解锁控制方法及相关产品 | |
| CN107633499B (zh) | 图像处理方法及相关产品 | |
| CN106529406B (zh) | 一种获取视频摘要图像的方法和装置 | |
| TWI399971B (zh) | 降低數位影像雜訊的方法及其電子裝置 | |
| CN110796615A (zh) | 一种图像去噪方法、装置以及存储介质 | |
| CN109584198B (zh) | 一种人脸图像质量评价方法、装置及计算机可读存储介质 | |
| CN109922311B (zh) | 基于音视频联动的监控方法、装置、终端及存储介质 | |
| CN110795998B (zh) | 人流量的检测方法、装置、电子设备及可读存储介质 | |
| CN111860057A (zh) | 人脸图像模糊和活体检测方法、装置、存储介质及设备 | |
| CN111311562B (zh) | 虚焦图像的模糊度检测方法及装置 | |
| CN113658083B (zh) | 一种眼球图像噪声消除方法、系统、装置及介质 | |
| CN111368596B (zh) | 人脸识别逆光补偿方法、装置、可读存储介质及设备 | |
| CN113052815B (zh) | 图像清晰度确定方法及装置、存储介质和电子设备 | |
| WO2023001110A1 (zh) | 神经网络训练方法、装置及电子设备 | |
| CN113486858B (zh) | 一种人脸识别模型训练方法、装置、电子设备及存储介质 | |
| CN112529845A (zh) | 图像质量值确定方法、装置、存储介质及电子装置 | |
| CN111050086B (zh) | 图像处理方法、装置及设备 | |
| CN112036277B (zh) | 一种人脸识别方法、电子设备以及计算机可读存储介质 | |
| CN113822927A (zh) | 一种适用弱质量图像的人脸检测方法、装置、介质及设备 | |
| CN113989870A (zh) | 一种活体检测方法、门锁系统及电子设备 | |
| CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
| CN109684991A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method, system, device and medium for eliminating eye image noise Effective date of registration: 20230228 Granted publication date: 20220118 Pledgee: Bank of China Limited by Share Ltd. Foshan branch Pledgor: GUANGDONG WEIREN MEDICAL TECHNOLOGY Co.,Ltd. Registration number: Y2023980033590 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |