CN110942043B - 一种瞳孔图像处理方法及相关装置 - Google Patents
一种瞳孔图像处理方法及相关装置 Download PDFInfo
- Publication number
- CN110942043B CN110942043B CN201911215005.5A CN201911215005A CN110942043B CN 110942043 B CN110942043 B CN 110942043B CN 201911215005 A CN201911215005 A CN 201911215005A CN 110942043 B CN110942043 B CN 110942043B
- Authority
- CN
- China
- Prior art keywords
- eye
- pupil
- image
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 162
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000009877 rendering Methods 0.000 claims abstract description 25
- 238000010276 construction Methods 0.000 claims abstract description 15
- 210000001508 eye Anatomy 0.000 claims description 189
- 230000008569 process Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 abstract description 11
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 235000014347 soups Nutrition 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请公开了本申请提供的一种瞳孔图像处理方法，包括：对待处理图像进行眼角识别，得到眼角位置；根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域；从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理。本发明还公开了一种瞳孔图像处理装置、瞳孔图像处理系统以及计算机可读存储介质。通过识别出的眼角位置计算得到眼部区域，而不是采用识别模型直接对眼部区域进行识别，其中采用的数据量和时间成本大大减少，提高了对眼部区域进行识别的效率。当应用在实时性较高的场景中时，保持瞳孔识别的实时性，避免出现卡顿情况，提高用户体验。
Description
技术领域
本申请涉及图像处理方法，特别涉及一种瞳孔图像处理方法、瞳孔图像处理装置、瞳孔图像处理系统以及计算机可读存储介质。
背景技术
在进行图像处理的过程中，存在需要对图像中特定位置的图像进行处理的任务。尤其是，在进行人像处理的过程中，为了使人像图像的效果更好，提供美颜换妆等功能，需要对眼部，脸部，额头等部位的图像进行处理。
因此，需要对面部的不同区域进行对应的识别处理，以便针对不同部位的图像进行处理。例如，在提供对瞳孔进行的换色处理时，需要在面部图像中定位出瞳孔的位置，然后对该位置的图像进行换色处理。
但是，现有技术中为了保证眼球定位的效果通常需要依赖大量的数据，而采用大量数据进行训练的过程耗时相对较久，时间成本相对较高。并且，现有技术的算法在执行的实时性上较差，当应用在实时性较高的场景中，容易造成卡顿，降低用户体验。
因此，如何提高对图像数据中的瞳孔处理的效率，避免在使用时出现卡顿情况，是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种瞳孔图像处理方法、瞳孔图像处理装置、瞳孔图像处理系统以及计算机可读存储介质，旨在提高对图像数据中的瞳孔处理的效率，避免在使用时出现卡顿情况。
为解决上述技术问题，本申请提供一种瞳孔图像处理方法，包括：
对待处理图像进行眼角识别，得到眼角位置；
根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域；
从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理。
可选的，所述对待处理图像进行眼角识别，得到眼角位置，包括：通过CPU对待处理图像进行眼角识别，得到眼角位置；
相应的，根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域，包括：通过GPU根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域；
相应的，从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理，包括：通过GPU从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理。
可选的，对待处理图像进行眼角识别，得到眼角位置，包括
采用已训练的深度神经网络对所述待处理图像进行眼角识别，得到所述眼角位置。
可选的，根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域，包括：
将所述眼角位置中一个眼部区域对应的两个眼角进行连接，得到长轴；
根据所述长轴和预设长短轴比例确定短轴；
根据所述椭圆方程对所述长轴和所述短轴进行椭圆区域构建，得到所述眼部区域。
可选的，从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理，包括：
对所述眼部区域进行去噪处理，得到眼部区域平滑图像；
对所述眼部区域平滑图像进行灰度处理，得到每个像素的灰度值；
将灰度值小于阈值的像素作为瞳孔区域像素，将所有瞳孔区域像素的区域作为所述瞳孔区域；
对所述瞳孔区域进行图像渲染处理。
可选的，对所述眼部区域进行去噪处理，得到眼部区域平滑图像，包括：
对所述眼部区域进行高斯滤波处理，得到所述眼部区域平滑图像。
可选的，对所述眼部区域进行高斯滤波处理，得到所述眼部区域平滑图像，包括：
采用预设大小的高斯卷积核对所述眼部区域进行高斯滤波处理，得到所述眼部区域平滑图像。
为实现上述目的，本发明进一步提供一种瞳孔图像处理装置，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的瞳孔图像处理程序，所述瞳孔图像处理程序被所述处理器执行时实现如权利要求1至6任一项所述的方法。
可选的，所述装置为组成CDN网络或者区块链网络的节点。
可选的，所述处理器包括CPU和GPU；
其中，所述CPU用于执行所述对待处理图像进行眼角识别，得到眼角位置的步骤；所述GPU用于执行所述根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域，以及从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理的步骤。
为实现上述目的，本发明进一步提供一种瞳孔图像处理系统，所述系统包括：
眼角位置识别模块，用于对待处理图像进行眼角识别，得到眼角位置；
眼部区域构建模块，用于根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域；
瞳孔图像处理模块，用于从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理。
为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有瞳孔图像处理程序，所述瞳孔图像处理程序可被一个或者多个处理器执行，以实现如上所述的瞳孔图像处理方法。
本申请提供的一种瞳孔图像处理方法，包括：对待处理图像进行眼角识别，得到眼角位置；根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域；从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理。
通过先在待识别图像中识别出眼角位置，由于人眼的形状近似于椭圆形，并且眼角位于椭圆形的长轴两端，因此，根据椭圆方程对眼角位置即可构建出椭圆区域，该椭圆区域即为眼部区域。可见，仅仅对眼角位置进行识别，获取到眼角位置后即可通过计算得到眼部区域，而不是采用识别模型直接对眼部区域进行识别，其中采用的数据量和时间成本大大减少，提高了对眼部区域进行识别的效率。当应用在实时性较高的场景中时，保持瞳孔识别的实时性，避免出现卡顿情况，提高用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的第一种瞳孔图像处理方法的流程图；
图2为本申请实施例所提供的第二种瞳孔图像处理方法的流程图；
图3为本申请实施例所提供的一种瞳孔图像处理装置的结构示意图；
图4为本申请实施例所提供的一种瞳孔图像处理系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
现有技术中，为了使人像图像的效果更好，提供美颜换妆等功能，需要对眼部，脸部，额头等部位的图像进行处理。因此，需要对面部的不同区域进行对应的识别处理，以便针对不同部位的图像进行处理。例如，在提供对瞳孔进行的换色处理时，需要在面部图像中定位出瞳孔的位置，然后对该位置的图像进行换色处理。但是，现有技术中为了保证眼球定位的效果通常需要依赖大量的数据，而采用大量数据进行训练的过程耗时相对较久，时间成本相对较高。并且，现有技术的算法在执行的实时性上较差，当应用在实时性较高的场景中，容易造成卡顿，降低用户体验。
因此，本发明提供一种瞳孔图像处理方法，先在待识别图像中识别出眼角位置，由于人眼的形状近似于椭圆形，并且眼角位于椭圆形的长轴两端，因此，根据椭圆方程对眼角位置即可构建出椭圆区域，该椭圆区域即为眼部区域。可见，仅仅对眼角位置进行识别，获取到眼角位置后即可通过计算得到眼部区域，而不是采用识别模型直接对眼部区域进行识别，其中采用的数据量和时间成本大大减少，提高了对眼部区域进行识别的效率。当应用在实时性较高的场景中时，保持瞳孔识别的实时性，避免出现卡顿情况，提高用户体验。
参照图1，图1为本申请实施例所提供的第一种瞳孔图像处理方法的流程图。
本实施例中，该方法可以包括：
S101，对待处理图像进行眼角识别，得到眼角位置；
本步骤旨在识别出待处理图像中的眼角位置。本实施例中为了减少用于识别的计算量，提高识别效率，只对眼部位置中眼角位置进行识别。并且，眼角位置相比于眼部其他位置在眼部区域中较为突出，训练过程较为快速，识别过程也可以保持更高的效率。采用相同的数据量和时间成本可以得到更好的识别效果和更快的识别效率。
具体的，本步骤中可以采用现有技术提供的任意一种眼角识别方法，还可以采用现有技术中训练好的识别模型对该待识别图像进行处理。例如，采用商汤SDK对待识别图像进行识别，得到两个人眼眼角的位置坐标，每个人眼分别有两个眼角坐标。可见，本步骤中具体对眼角进行识别的方法并不唯一，可以选择合适的方式对待识别图像进行眼角识别，在此不做具体限定。
S102，根据椭圆方程对眼角位置进行椭圆区域构建，得到眼部区域；
在S101的基础上，本步骤旨在根据获取到的眼角位置和椭圆方程进行椭圆区域构建，得到眼部区域。也就是在待处理图像中定位出对应的眼部区域。
现有技术中，一般都是直接从待识别图像中识别出眼部区域，相比于识别眼角位置，对整个眼部轮廓进行识别所消耗的训练成本和识别成本更多。其中，训练成本和识别成本包括训练时采用的数据量，模型进行计算时的性能，以及所消耗的时间等。当该现有技术应用在实时性较高的场景中时，由于训练成本和识别成本较高，无法保持更好的实时性，造成使用时的卡顿感，降低用户的使用体验。
而本步骤中，在识别出眼角位置的基础上，通过计算可以直接算出眼部区域，而不是对整体轮廓进行识别。直接进行计算相比较采用机器学习进行识别的方法，无需前期的训练准备，计算的步骤较少，保证进行计算的效率，避免处出现卡顿的情况。
并且，由于眼部区域的轮廓近似于椭圆形，并且该轮廓的长轴和短轴的比例相对稳定，不易发生变化。因此，通过获取眼角的位置就可以快速的构建出椭圆区域，并作为眼部区域。
S103，从眼部区域提取出瞳孔区域，对瞳孔区域进行图像渲染处理。
在S102的基础上，本步骤旨在从眼部区提取出瞳孔区域，并且对该瞳孔区域进行图像渲染处理。
现有技术中，可以在识别出眼部区域的基础上提取出瞳孔区域进行渲染处理，还可以采用机器学习的模型对待处理图像中的瞳孔区域进行直接识别以便得到瞳孔区域。但是，由于瞳孔区域特征复杂，特征提取方式复杂，训练消耗的数据量巨大，效率较低。在高实时性应用的场景中仍然没有办法保证较好的实时性，仍然会出现不同情况的卡顿，降低用户的体验。
因此，本步骤中可以根据瞳孔区域和其他区域的颜色差异，直接从眼部区域中提取出瞳孔区域。既保持了瞳孔区域提取的准确程度，还提高了提取的效率，避免出现卡顿情况。
进一步的，提取出瞳孔区域之后就可以对该瞳孔区域进行图像渲染处理。可以是对瞳孔区域的图像进行换色处理，还可以是对瞳孔区域的图像进行增加纹理的处理，也可以是对瞳孔区域渲染其他颜色特征。具体的，可以根据实际的应用情况选择何种处理方式，还可以根据用户的选择进行处理，在此不做具体限定。
此外，本实施例中的S101可以通过CPU执行，S102和S103可以通过GPU执行，因此具体的本实施例，可以包括：
通过CPU对待处理图像进行眼角识别，得到眼角位置；
通过GPU根据椭圆方程对眼角位置进行椭圆区域构建，得到眼部区域；
通过GPU从眼部区域提取出瞳孔区域，对瞳孔区域进行图像渲染处理。
通过GPU(具体的可以是利用GPU运行着色器程序实现)执行步骤S102-S103，可以利用GPU并行计算的优势，并可以在移动应用中高效快速的集成并使用。
综上，本实施例通过先在待识别图像中识别出眼角位置，由于人眼的形状近似于椭圆形，并且眼角位于椭圆形的长轴两端，因此，根据椭圆方程对眼角位置即可构建出椭圆区域，该椭圆区域即为眼部区域。可见，仅仅对眼角位置进行识别，获取到眼角位置后即可通过计算得到眼部区域，而不是采用识别模型直接对眼部区域进行识别，其中采用的数据量和时间成本大大减少，提高了对眼部区域进行识别的效率。当应用在实时性较高的场景中时，保持瞳孔识别的实时性，避免出现卡顿情况，提高用户体验。
以下通过一个实施例，对本申请提供的一种瞳孔图像处理方法做进一步说明。
参照图2，图2为本申请实施例所提供的第二种瞳孔图像处理方法的流程图。
本实施例中，该方法可以包括：
S201，采用已训练的深度神经网络对待处理图像进行眼角识别，得到眼角位置；
可见，本步骤主要是对如何进行眼角识别做进一步说明。其中，所采用的已训练的深度神经网络可以是对与眼角相关的训练数据进行训练得到的，也可以是采用现有技术提供的任意一种训练好的识别模型。主要是因为眼角位置定义清晰，采用现有技术提供的训练好的深度神经网络进行识别，可以存在很好的兼容性，保证识别的准确性。
S202，将眼角位置中一个眼部区域对应的两个眼角进行连接，得到长轴；
S203，根据长轴和预设长短轴比例确定短轴；
S204，根据椭圆方程对长轴和短轴进行椭圆区域构建，得到眼部区域；
可见，本实施例中的S202至S204主要是进一步说明如何进行构建得到眼部区域。具体的，主要过程是通过获取到的眼角位置确定出椭圆形的长轴，然后根据预设长短轴比例确定短轴。其中，短轴为长轴的垂直平分线。其中，预设长短轴比例可以为0.45倍，还可以根据使用者的差异调整该预设长短轴比例，也可以通过经验设定该预设长短轴比例。可见，本实施例中设定预设长短轴比例的方式并不唯一，在此不做具体限定。
进一步的，当确定长轴和短轴后就可以根据椭圆方程、长轴、短轴确定出对应的椭圆形，进而得到眼部区域。
S205，对眼部区域进行去噪处理，得到眼部区域平滑图像；
S206，对眼部区域平滑图像进行灰度处理，得到每个像素的灰度值；
S207，将灰度值小于阈值的像素作为瞳孔区域像素，将所有瞳孔区域像素的区域作为瞳孔区域；
S208，对瞳孔区域进行图像渲染处理。
可见，本实施例中S205至S208主要是对如何提取出瞳孔区域做进一步说明。可以想到的是，在眼部区域中瞳孔和周围眼白区域之间的颜色差异较大，并且眼白呈现为白色，可以将眼部区域整体进行灰度化处理，得到每个像素点的灰度值，根据灰度值提取出瞳孔区域对应的像素点，即可得到瞳孔区域。
本实施例中是通过判断灰度值是否大于阈值从而挑选出瞳孔区域的像素点。此外，还可以将灰度值进行从小到大进行排列，取前预设比例的像素点作为瞳孔区域像素。其中，可以取到前25％的像素点作为瞳孔区域的像素点。
可选的，本实施例中的S205，可以包括：
对眼部区域进行高斯滤波处理，得到眼部区域平滑图像。
可选的，上一可选方法，可以包括：
采用预设大小的高斯卷积核对眼部区域进行高斯滤波处理，得到眼部区域平滑图像。
其中，预设大小可以是5*5。
可见，本实施例通过先在待识别图像中识别出眼角位置，由于人眼的形状近似于椭圆形，并且眼角位于椭圆形的长轴两端，因此，根据椭圆方程对眼角位置即可构建出椭圆区域，该椭圆区域即为眼部区域。可见，仅仅对眼角位置进行识别，获取到眼角位置后即可通过计算得到眼部区域，而不是采用识别模型直接对眼部区域进行识别，其中采用的数据量和时间成本大大减少，提高了对眼部区域进行识别的效率。当应用在实时性较高的场景中时，保持瞳孔识别的实时性，避免出现卡顿情况，提高用户体验。
在以上所有实施例的基础上，以下通过一个具体的实施例对本申请提供的一种瞳孔图像处理方法做进一步说明。
本实施例中，该方法可以包括：
S301，通过商汤SDK获取两个人眼眼角的位置坐标，传入shader(着色器程序)中；其中，坐标位置具体为A、B两点的坐标；
S302，线段AB作为椭圆长轴a，在此基础上，确定线段CD作为椭圆短轴b，通过平面几何方法，得到这个椭圆方程，即人眼图像；其中，椭圆方程所确定的区域，就是进行瞳孔识别的大致区域范围；
S303，对人眼图像做高斯滤波处理，消除噪点，使图像更平滑，避免在之后步骤中的灰度比较时，因为噪点会导致非瞳孔区域进行换色处理。
其中，高斯滤波函数如下：
为了提高模糊化的效果，本步骤中可以选择一个5x5的高斯卷积核对图像进行去噪处理；
S304，在模糊后的图像基础上，做灰度处理：
F(i,j)＝0.2125*R(i,j)+0.7154*G(i,j)+0.0721*B(i,j)
其中，F(i,j)为灰度化后的像素值。
S305，灰度值阈值比较，对椭圆范围的灰度值F(i,j)进行分析，瞳孔深色部分在整体的25％以下，因此对这部分的像素进行线性变换：
Out(i,j)＝(In(i,j)+0.06)*RGB(i,j)
其中，In(i,j)为瞳孔原始的像素值，Out(i,j)为瞳孔变化颜色后最终像素值。
本实施例中，步骤S301是在CPU(Central Processing Unit中央处理器)中执行，步骤S302至S305均是通过Shader在GPU(Graphics Processing Unit图形处理器)中进行，极大的提高处理效率。
可见，本申请实施例提供了一种瞳孔图像处理方法，可以通过先在待识别图像中识别出眼角位置，由于人眼的形状近似于椭圆形，并且眼角位于椭圆形的长轴两端，因此，根据椭圆方程对眼角位置即可构建出椭圆区域，该椭圆区域即为眼部区域。可见，仅仅对眼角位置进行识别，获取到眼角位置后即可通过计算得到眼部区域，而不是采用识别模型直接对眼部区域进行识别，其中采用的数据量和时间成本大大减少，提高了对眼部区域进行识别的效率。当应用在实时性较高的场景中时，保持瞳孔识别的实时性，避免出现卡顿情况，提高用户体验。
参照图3，图3为本申请实施例所提供的一种瞳孔图像处理装置的结构示意图。
在本实施例中，一种瞳孔图像处理装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、掌上电脑、便携计算机、智能路由器、矿机、网络存储设备终端设备。
该装置1可以是组成CDN网络或者区块链网络的节点。
该瞳孔图像处理装置1可以包括存储器11、处理器12和总线13。
其中，存储器11至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是瞳孔图像处理装置1的内部存储单元，例如该瞳孔图像处理装置1的硬盘。存储器11在另一些实施例中也可以是瞳孔图像处理装置1的外部存储设备，例如瞳孔图像处理装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括瞳孔图像处理装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于瞳孔图像处理装置1的应用软件及各类数据，例如瞳孔图像处理程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行瞳孔图像处理程序01等。
该总线13可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
进一步地，瞳孔图像处理装置还可以包括网络接口14，网络接口14可选的可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该装置1与其他电子设备之间建立通信连接。
可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在瞳孔图像处理装置1中处理的信息以及用于显示可视化的用户界面。
图3仅示出了具有组件11-14以及瞳孔图像处理程序01的瞳孔图像处理装置1，本领域技术人员可以理解的是，图3示出的结构并不构成对瞳孔图像处理装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
可选的，本实施例中该处理器包括CPU和GPU；
其中，CPU用于执行对待处理图像进行眼角识别，得到眼角位置的步骤；GPU用于执行根据椭圆方程对眼角位置进行椭圆区域构建，得到眼部区域，以及从眼部区域提取出瞳孔区域，对瞳孔区域进行图像渲染处理的步骤。
下面对本申请实施例提供的一种瞳孔图像处理系统进行介绍，下文描述的一种瞳孔图像处理系统与上文描述的一种瞳孔图像处理方法可相互对应参照。
参照图4，图4为本申请实施例所提供的一种瞳孔图像处理系统的结构示意图。
本实施例中，该系统可以包括：
眼角位置识别模块100，用于对待处理图像进行眼角识别，得到眼角位置；
眼部区域构建模块200，用于根据椭圆方程对眼角位置进行椭圆区域构建，得到眼部区域；
瞳孔图像处理模块300，用于从眼部区域提取出瞳孔区域，对瞳孔区域进行图像渲染处理。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有瞳孔图像处理程序，所述瞳孔图像处理程序可被一个或者多个处理器执行，以实现如以上实施例所述的瞳孔图像处理方法。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种瞳孔图像处理方法，其特征在于，包括：
对待处理图像进行眼角识别，得到眼角位置；
根据椭圆方程和预设长短轴比例对所述眼角位置进行椭圆区域构建，得到眼部区域；
从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理；
其中，从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理，包括：
对所述眼部区域进行去噪处理，得到眼部区域平滑图像；
对所述眼部区域平滑图像进行灰度处理，得到每个像素的灰度值；
将灰度值小于阈值的像素作为瞳孔区域像素，将所有瞳孔区域像素的区域作为所述瞳孔区域；
对所述瞳孔区域进行图像渲染处理；
所述对待处理图像进行眼角识别，得到眼角位置，包括：
采用已训练的深度神经网络对所述待处理图像进行眼角识别，得到所述眼角位置；
所述根据椭圆方程和预设长短轴比例对所述眼角位置进行椭圆区域构建，得到眼部区域，包括：
将所述眼角位置中一个眼部区域对应的两个眼角进行连接，得到长轴；
根据所述长轴和预设长短轴比例确定短轴；
根据所述椭圆方程对所述长轴和所述短轴进行椭圆区域构建，得到所述眼部区域。
2.如权利要求1所述的瞳孔图像处理方法，其特征在于，所述对待处理图像进行眼角识别，得到眼角位置，包括：通过CPU对待处理图像进行眼角识别，得到眼角位置；
相应的，根据椭圆方程和预设长短轴比例对所述眼角位置进行椭圆区域构建，得到眼部区域，包括：通过GPU根据椭圆方程和预设长短轴比例对所述眼角位置进行椭圆区域构建，得到眼部区域；
相应的，从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理，包括：通过GPU从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理。
3.如权利要求1所述的瞳孔图像处理方法，其特征在于，对所述眼部区域进行去噪处理，得到眼部区域平滑图像，包括：
对所述眼部区域进行高斯滤波处理，得到所述眼部区域平滑图像。
4.如权利要求3所述的瞳孔图像处理方法，其特征在于，对所述眼部区域进行高斯滤波处理，得到所述眼部区域平滑图像，包括：
采用预设大小的高斯卷积核对所述眼部区域进行高斯滤波处理，得到所述眼部区域平滑图像。
5.一种瞳孔图像处理装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的瞳孔图像处理程序，所述瞳孔图像处理程序被所述处理器执行时实现如权利要求1至4任一项所述的方法。
6.根据权利要求5所述的装置，其特征在于，所述处理器包括CPU和GPU；
其中，所述CPU用于执行所述对待处理图像进行眼角识别，得到眼角位置的步骤；所述GPU用于执行所述根据椭圆方程对所述眼角位置进行椭圆区域构建，得到眼部区域，以及从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理的步骤。
7.一种瞳孔图像处理系统，其特征在于，所述系统包括：
眼角位置识别模块，用于对待处理图像进行眼角识别，得到眼角位置；
眼部区域构建模块，用于根据椭圆方程和预设长短轴比例对所述眼角位置进行椭圆区域构建，得到眼部区域；
瞳孔图像处理模块，用于从所述眼部区域提取出瞳孔区域，对所述瞳孔区域进行图像渲染处理；
所述瞳孔图像处理模块，具体用于对所述眼部区域进行去噪处理，得到眼部区域平滑图像；对所述眼部区域平滑图像进行灰度处理，得到每个像素的灰度值；将灰度值小于阈值的像素作为瞳孔区域像素，将所有瞳孔区域像素的区域作为所述瞳孔区域；对所述瞳孔区域进行图像渲染处理；
所述眼角位置识别模块，具体用于采用已训练的深度神经网络对所述待处理图像进行眼角识别，得到所述眼角位置；
所述眼部区域构建模块，具体用于将所述眼角位置中一个眼部区域对应的两个眼角进行连接，得到长轴；
根据所述长轴和预设长短轴比例确定短轴；
根据所述椭圆方程对所述长轴和所述短轴进行椭圆区域构建，得到所述眼部区域。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有瞳孔图像处理程序，所述瞳孔图像处理程序可被一个或者多个处理器执行，以实现如权利要求1至4任一项所述的瞳孔图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911215005.5A CN110942043B (zh) | 2019-12-02 | 2019-12-02 | 一种瞳孔图像处理方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911215005.5A CN110942043B (zh) | 2019-12-02 | 2019-12-02 | 一种瞳孔图像处理方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110942043A CN110942043A (zh) | 2020-03-31 |
| CN110942043B true CN110942043B (zh) | 2023-11-14 |
Family
ID=69908473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911215005.5A Active CN110942043B (zh) | 2019-12-02 | 2019-12-02 | 一种瞳孔图像处理方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110942043B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113228045A (zh) * | 2020-05-18 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009181424A (ja) * | 2008-01-31 | 2009-08-13 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN104809458A (zh) * | 2014-12-29 | 2015-07-29 | 华为技术有限公司 | 一种瞳孔中心定位方法及装置 |
| JP2017084302A (ja) * | 2015-10-30 | 2017-05-18 | 広島県 | 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法 |
| CN108256391A (zh) * | 2016-12-29 | 2018-07-06 | 广州映博智能科技有限公司 | 一种基于投影积分和边缘检测的瞳孔区域定位方法 |
| CN108256392A (zh) * | 2016-12-29 | 2018-07-06 | 广州映博智能科技有限公司 | 基于投影积分和区域灰度极值的瞳孔区域定位方法 |
| CN109034023A (zh) * | 2018-07-13 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 一种眼动数据确定方法、装置、设备及存储介质 |
| CN109086713A (zh) * | 2018-07-27 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 眼部识别方法、装置、终端及存储介质 |
| CN109086676A (zh) * | 2018-07-06 | 2018-12-25 | 合肥明高软件技术有限公司 | 一种学生注意力分析系统及其判定方法 |
-
2019
- 2019-12-02 CN CN201911215005.5A patent/CN110942043B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009181424A (ja) * | 2008-01-31 | 2009-08-13 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN104809458A (zh) * | 2014-12-29 | 2015-07-29 | 华为技术有限公司 | 一种瞳孔中心定位方法及装置 |
| JP2017084302A (ja) * | 2015-10-30 | 2017-05-18 | 広島県 | 黒目位置検出装置、電子機器、プログラムおよび黒目位置検出方法 |
| CN108256391A (zh) * | 2016-12-29 | 2018-07-06 | 广州映博智能科技有限公司 | 一种基于投影积分和边缘检测的瞳孔区域定位方法 |
| CN108256392A (zh) * | 2016-12-29 | 2018-07-06 | 广州映博智能科技有限公司 | 基于投影积分和区域灰度极值的瞳孔区域定位方法 |
| CN109086676A (zh) * | 2018-07-06 | 2018-12-25 | 合肥明高软件技术有限公司 | 一种学生注意力分析系统及其判定方法 |
| CN109034023A (zh) * | 2018-07-13 | 2018-12-18 | 中国科学院深圳先进技术研究院 | 一种眼动数据确定方法、装置、设备及存储介质 |
| CN109086713A (zh) * | 2018-07-27 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 眼部识别方法、装置、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 人眼检测及瞳孔定位;余龙华等;《计算机工程与应用》;20111024(第03期);全文 * |
| 基于选择性阈值取反和径向对称的瞳孔中心定位;赵彦涛等;《光电子·激光》;20161115(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110942043A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105893920B (zh) | 一种人脸活体检测方法和装置 | |
| CN107633209B (zh) | 电子装置、动态视频人脸识别的方法及存储介质 | |
| CN110032271B (zh) | 对比度调节装置及其方法、虚拟现实设备及存储介质 | |
| CN108229301B (zh) | 眼睑线检测方法、装置和电子设备 | |
| US10311295B2 (en) | Heuristic finger detection method based on depth image | |
| WO2020248848A1 (zh) | 智能化异常细胞判断方法、装置及计算机可读存储介质 | |
| EP2945374B1 (en) | Positioning of projected augmented reality content | |
| CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
| CN108009470B (zh) | 一种图像提取的方法和装置 | |
| WO2020224136A1 (zh) | 界面交互方法及装置 | |
| CN105631449A (zh) | 一种图片分割方法、装置及设备 | |
| CN112149570B (zh) | 多人活体检测方法、装置、电子设备及存储介质 | |
| CN111783146A (zh) | 基于隐私保护的图像处理方法、装置和电子设备 | |
| CN109447031A (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN107291238B (zh) | 一种数据处理方法与装置 | |
| CN111814682A (zh) | 人脸活体检测方法及装置 | |
| CN110942043B (zh) | 一种瞳孔图像处理方法及相关装置 | |
| CN114627561A (zh) | 动态手势识别方法、装置、可读存储介质及电子设备 | |
| CN108734718B (zh) | 用于图像分割的处理方法、装置、存储介质及设备 | |
| CN112149605B (zh) | 一种人脸识别方法、装置、设备及存储介质 | |
| WO2021179751A1 (zh) | 图像处理方法和系统 | |
| CN110222571B (zh) | 黑眼圈智能判断方法、装置及计算机可读存储介质 | |
| CN108270973B (zh) | 一种拍照处理方法、移动终端及计算机可读存储介质 | |
| WO2020124442A1 (zh) | 推送方法及相关产品 | |
| CN110263741A (zh) | 视频帧提取方法、装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |