CN116664394A - 一种三维人眼图像生成方法及装置、电子设备、存储介质 - Google Patents
一种三维人眼图像生成方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN116664394A CN116664394A CN202310954934.8A CN202310954934A CN116664394A CN 116664394 A CN116664394 A CN 116664394A CN 202310954934 A CN202310954934 A CN 202310954934A CN 116664394 A CN116664394 A CN 116664394A
- Authority
- CN
- China
- Prior art keywords
- current
- eyeball
- ellipse
- eye image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 274
- 210000001508 eye Anatomy 0.000 claims abstract description 190
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 241001504424 Zosteropidae Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G06T3/08—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
Abstract
本申请公开了一种三维人眼图像生成方法及装置、电子设备、存储介质，所述方法包括：获取当前二维眼部图像；提取出当前二维眼部图像中的感兴趣区域；从当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点；对眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数；基于当前椭圆的特征参数，查找出当前椭圆对应的眼球位姿参数；其中，眼球位姿参数指代投影出当前椭圆的眼球的位姿参数；基于当前椭圆对应的眼球位姿参数以及当前二维眼部图像的采集设备参数，确定当前投影关系；其中，当前投影关系为眼球上的点与其投影到当前二维眼部图像中的像素点间的坐标关系；基于当前投影关系绘制出当前二维眼部图像对应的三维眼部图像。
Description
技术领域
本申请涉及图像处理技术领域，特别涉及一种三维人眼图像生成方法及装置、电子设备、存储介质。
背景技术
白睛是眼球中呈现白色的部分，通过分析该区域中的血管颜色和形态，以及表面上的斑点等特征，可以对人体的生理病理变化的健康状况做出判断。当前的具体实现过程是让被采集者转动眼球，并通过采集设备，如目诊仪等，采集到白睛的清晰图像，并进一步进行分析。
由于通过三维传感器采集图像时，需要配备专用的补光装置，而补光装置的近距离光照会给人眼带来伤害。并且，通过三维传感器采集时，还需要保证被测物体静止不动，而人眼很难保持静止。因此，当前采集设备主要还是通过相机直接拍摄人眼图像。
但是，相机所拍摄的人眼图像是二维的，而人眼是一个三维的球体，即所得到的人眼图像仅是人眼的一个投影，因此所得到的人眼图像上的血管的长度、粗细以及斑点的面积等特征的形态，与人眼上的实际形态是存在较大偏差的，并且该特征越远离眼球中心，其偏差越大，进而会影响后续的分析结果的准确性。由此可见当前技术所得到的人眼图像，并不能很好的满足分析需求。
发明内容
基于上述现有技术的不足，本申请提供了一种三维人眼图像生成方法及装置、电子设备、存储介质，以解决现有二维眼部图像与实际存在偏差的问题。
为了实现上述目的，本申请提供了以下技术方案：
本申请第一方面提供了一种三维人眼图像生成方法，包括：
获取当前二维眼部图像；
提取出所述当前二维眼部图像中的感兴趣区域；
从所述当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点；
对所述眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数；
基于所述当前椭圆的特征参数，查找出所述当前椭圆对应的眼球位姿参数；其中，所述当前椭圆对应的眼球位姿参数指代投影出所述当前椭圆的眼球的位姿参数；
基于所述当前椭圆对应的眼球位姿参数以及所述当前二维眼部图像的采集设备参数，确定当前投影关系；其中，所述当前投影关系指代眼球上的点与其投影到所述当前二维眼部图像中的像素点间的坐标关系；
基于所述当前投影关系绘制出所述当前二维眼部图像对应的三维眼部图像。
可选地，在上述的三维人眼图像生成方法中，所述对所述眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数，包括：
利用最小二乘法对所述眼球虹膜的外边缘像素点进行椭圆拟合计算，得到所述当前椭圆的二次曲线表达式中的各个系数；
利用所述当前椭圆的二次曲线表达式中的各个系数，计算得到所述当前椭圆的特征参数；其中，所述当前椭圆的特征参数包括所述当前椭圆的中心的坐标、短长轴之比以及旋转角度。
可选地，在上述的三维人眼图像生成方法中，所述基于所述当前椭圆的特征参数，查找出所述当前椭圆对应的眼球位姿参数，包括：
基于所述当前椭圆的短长轴之比，从预先构建的第一对应关系表中查找出第一眼球位姿参数和第二眼球位姿参数，以及基于所述当前椭圆的旋转角度，从预先构建的第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数；其中，所述第一眼球位姿参数和所述第二眼球位姿参数为所述第一对应关系表中，与所述当前椭圆的短长轴之比的差值最小的两个短长轴之比对应的眼球位姿参数；所述第三眼球位姿参数和所述第四眼球位姿参数为所述第二对应关系表中，与所述当前椭圆的旋转角度的差值最小的两个旋转角度对应的眼球位姿参数；
基于所述当前椭圆的短长轴之比以及所述当前椭圆的旋转角度，利用逆向双线性插值法计算得到第一插值系数和第二插值系数；
利用所述第一插值系数和所述第二插值系数，对所述第一眼球位姿参数、所述第二眼球位姿参数、所述第三眼球位姿参数、所述第四眼球位姿参数进行双线性插值计算，得到所述当前椭圆对应的第一旋转角度以及第二旋转角度；其中，所述第一旋转角度指代眼球左右旋转的角度；所述第二旋转角度指代眼球上下旋转的角度；
基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，从预先构建的第三对应关系表和第四对应关系表查找出所述当前椭圆的中心对应的坐标偏移量；其中，所述坐标偏移量包括与眼球中心的横坐标以及纵坐标的偏移量。
可选地，在上述的三维人眼图像生成方法中，所述基于所述当前椭圆对应的眼球位姿参数以及所述当前二维眼部图像的采集设备参数，确定当前投影关系，包括：
分别基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，构建第一旋转矩阵以及第二旋转矩阵；
利用所述第一旋转矩阵、所述第二旋转矩阵以及所述当前二维眼部图像的采集设备距离眼球的距离，确定设备坐标变换关系式；其中，所述设备坐标变换关系式为眼球上的任意一点在所述采集设备的坐标系下的坐标变换关系式；
利用所述设备坐标变换关系式以及所述当前二维眼部图像的采集设备的内参矩阵，得到相对坐标关系式；其中，所述相对坐标关系式表示眼球上的点与其投影到图像平面上的坐标像素点间的相对坐标的关系式；
基于所述当前椭圆的中心对应的坐标偏移量，计算眼球中心在所述当前二维眼部图像中的坐标；
基于所述相对坐标关系式以及眼球中心在所述当前二维眼部图像中的坐标，确定当前投影关系。
可选地，在上述的三维人眼图像生成方法中，所述基于所述当前投影关系绘制出所述当前二维眼部图像对应的三维眼部图像，包括：
分别将眼球上的多个目标点的坐标代入所述当前投影关系中，确定出各个所述目标点投影在所述当前二维眼部图像的像素点坐标；
根据各个所述目标点投影在所述当前二维眼部图像上的像素点坐标所对应的像素点的颜色值，确定各个所述目标点的颜色值；
根据所述目标点的坐标以及各个所述目标点的颜色值，绘制出所述当前二维眼部图像对应的三维眼部图像。
本申请第二方面提供了一种三维人眼图像生成装置，包括：
图像获取单元，用于获取当前二维眼部图像；
区域提取单元，用于提取出所述当前二维眼部图像中的感兴趣区域；
边缘检测单元，用于从所述当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点；
拟合单元，用于对所述眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数；
位姿查找单元，基于所述当前椭圆的特征参数，查找出所述当前椭圆对应的眼球位姿参数；其中，所述当前椭圆对应的眼球位姿参数指代投影出所述当前椭圆的眼球的位姿参数；
关系确定单元，用于基于所述当前椭圆对应的眼球位姿参数以及所述当前二维眼部图像的采集设备参数，确定当前投影关系；其中，所述当前投影关系指代眼球上的点与其投影到所述当前二维眼部图像中的像素点间的坐标关系；
绘制单元，用于基于所述当前投影关系绘制出所述当前二维眼部图像对应的三维眼部图像。
可选地，在上述的三维人眼图像生成装置中，所述拟合单元，包括：
系数拟合单元，用于利用最小二乘法对所述眼球虹膜的外边缘像素点进行椭圆拟合计算，得到所述当前椭圆的二次曲线表达式中的各个系数；
特征参数计算单元，用于利用所述当前椭圆的二次曲线表达式中的各个系数，计算得到所述当前椭圆的特征参数；其中，所述当前椭圆的特征参数包括所述当前椭圆的中心的坐标、短长轴之比以及旋转角度。
可选地，在上述的三维人眼图像生成装置中，所述位姿查找单元，包括：
第一查找单元，用于基于所述当前椭圆的短长轴之比，从预先构建的第一对应关系表中查找出第一眼球位姿参数和第二眼球位姿参数，以及基于所述当前椭圆的旋转角度，从预先构建的第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数；其中，所述第一眼球位姿参数和所述第二眼球位姿参数为所述第一对应关系表中，与所述当前椭圆的短长轴之比的差值最小的两个短长轴之比对应的眼球位姿参数；所述第三眼球位姿参数和所述第四眼球位姿参数为所述第二对应关系表中，与所述当前椭圆的旋转角度的差值最小的两个旋转角度对应的眼球位姿参数；
系数计算单元，用于基于所述当前椭圆的短长轴之比以及所述当前椭圆的旋转角度，利用逆向双线性插值法计算得到第一插值系数和第二插值系数；
插值计算单元，用于利用所述第一插值系数和所述第二插值系数，对所述第一眼球位姿参数、所述第二眼球位姿参数、所述第三眼球位姿参数、所述第四眼球位姿参数进行双线性插值计算，得到所述当前椭圆对应的第一旋转角度以及第二旋转角度；其中，所述第一旋转角度指代眼球左右旋转的角度；所述第二旋转角度指代眼球上下旋转的角度；
第二查找单元，用于基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，从预先构建的第三对应关系表和第四对应关系表查找出所述当前椭圆的中心对应的坐标偏移量；其中，所述坐标偏移量包括与眼球中心的横坐标以及纵坐标的偏移量。
可选地，在上述的三维人眼图像生成装置中，所述关系确定单元，包括：
矩阵构建单元，用于分别基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，构建第一旋转矩阵以及第二旋转矩阵；
第一确定单元，用于利用所述第一旋转矩阵、所述第二旋转矩阵以及所述当前二维眼部图像的采集设备距离眼球的距离，确定设备坐标变换关系式；其中，所述设备坐标变换关系式为眼球上的任意一点在所述采集设备的坐标系下的坐标变换关系式；
第二确定单元，用于利用所述设备坐标变换关系式以及所述当前二维眼部图像的采集设备的内参矩阵，得到相对坐标关系式；其中，所述相对坐标关系式表示眼球上的点与其投影到图像平面上的坐标像素点间的相对坐标的关系式；
坐标计算单元，用于基于所述当前椭圆的中心对应的坐标偏移量，计算眼球中心在所述当前二维眼部图像中的坐标；
第三确定单元，用于基于所述相对坐标关系式以及眼球中心在所述当前二维眼部图像中的坐标，确定当前投影关系。
可选地，在上述的三维人眼图像生成装置中，所述绘制单元，包括：
坐标确定单元，用于分别将眼球上的多个目标点的坐标代入所述当前投影关系中，确定出各个所述目标点投影在所述当前二维眼部图像的像素点坐标；
颜色确定单元，用于根据各个所述目标点投影在所述当前二维眼部图像上的像素点坐标所对应的像素点的颜色值，确定各个所述目标点的颜色值；
绘制子单元，用于根据所述目标点的坐标以及各个所述目标点的颜色值，绘制出所述当前二维眼部图像对应的三维眼部图像。
本申请第三方面提供了一种电子设备，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的三维人眼图像生成方法。
本申请第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的三维人眼图像生成方法。
本申请另一实施例提供了一种三维人眼图像生成方法，先获取当前二维眼部图像。然后提取出当前二维眼部图像中的感兴趣区域，并从当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点，以及与虹膜外边缘形成的椭圆的特征，分析投影情况。然后进一步对眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数，然后基于当前椭圆的特征参数，查找出当前椭圆对应的眼球位姿参数，即查找出投影出当前椭圆的眼球的位姿参数。其中，当前椭圆对应的眼球位姿参数指代投影出当前椭圆的眼球的位姿参数。接着基于当前椭圆对应的眼球位姿参数以及当前二维眼部图像的采集设备参数，确定当前投影关系。其中，当前投影关系指代眼球上的点与其投影到当前二维眼部图像中的像素点间的坐标关系。最后基于当前投影关系绘制出当前二维眼部图像对应的三维眼部图像，从而不需要通过三维传感器采集图像，直接将得到的当前二外眼部图像准确地转换为三维眼部图像，可以准确地反映出眼部中的特征，满足后续分析的需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种三维人眼图像生成方法的流程图；
图2为本申请实施例提供的一种对眼球虹膜的外边缘像素点进行椭圆拟合的方法的流程图；
图3为本申请实施例提供的一种查找当前椭圆对应的眼球位姿参数的方法的流程图；
图4为本申请实施例提供的一种确定当前投影关系的方法的流程图；
图5为本申请实施例提供的一种绘制当前二维眼部图像对应的三维眼部图像的方法的流程图；
图6为本申请实施例提供的一种三维人眼图像生成装置的结构示意图；
图7为本申请实施例提供的一种电子设备的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请实施例提供了一种三维人眼图像生成方法，如图1所示，包括以下步骤：
S101、获取当前二维眼部图像。
具体的，获取采集设备所采集到的当前二维眼部图像。
S102、提取出当前二维眼部图像中的感兴趣区域。
需要说明的是，在相机拍摄的人眼图像中，眼球的大部分区域被眼睑遮挡，仅有露出的部分，即包含巩膜和虹膜的部分，才是分析过程中的感兴趣区域(Region ofInterest，ROI)。因此为了滤除无关信息，需要先采用图像分割的方法实现快速准确的ROI提取。
可选地，已有的图像分割方法可分为传统分割方法和深度学习方法两类。前者包括基于阈值的方法、基于区域的方法、基于边缘检测的方法等，后者包括Mask R-CNN，U-Net，CE- Net，PSP Net等。传统分割方法无需大量的已标注样本，也无需复杂的训练过程和GPU等硬件资源，但深度学习方法能够在限定的条件下获得更高的精度。为此，可以采用基于深度学习技术的U-Net方法实现ROI提取。
其中，U-Net方法属于一种现有的技术，因此此处不再进行过多的赘述。
S103、从当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点。
需要说明的是，由于二维眼部图像是三维的眼球的投影，所以要将当前二维眼部图像转换为其对应的三维图像，则需要先确定出其相应的眼球位姿参数。而虹膜是人眼中位于黑色瞳孔和白色巩膜之间的圆环状部分，其边缘近似为标准的圆形，而圆的投影为椭圆，所以根据其边缘的投影，确定出眼球位姿参数。因此需要先确定出眼球虹膜的外边缘像素点。即确定出组成投影所得到的椭圆的各个像素点。
具体的，通常通过边缘检测算子可以提取出二维眼部图像中的眼球虹膜的外边缘。
S104、对眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数。
其中，当前椭圆指的是眼球虹膜的外边缘像素点所组成的椭圆。当前椭圆的特征参数，指的是可以反映出当前椭圆的参数，即根据这些特征参数可以确定出唯一的一个椭圆。
需要说明的是，在确定出组成当前椭圆的各个像素点后，即在确定出当前椭圆后，则需要进一步确定当前椭圆的特征参数，才能确定出眼球中的外边缘组成的圆形，是通过怎么样的投影方式，才投影成当前椭圆的，进而才能基于投影方式将二维眼部图像转换为三维眼部图像。
可选地，在本申请另一实施例中，步骤S104的一种具体实施方式，如图2所示，包括以下步骤：
S201、利用最小二乘法对眼球虹膜的外边缘像素点进行椭圆拟合计算，得到当前椭圆的二次曲线表达式中的各个系数。
具体的，对于一般的二次曲线，可以通过下面的隐式二阶多项式来表示，所以当前椭圆可以通过下面的隐式二阶多项式来表示：
其中，a=[a，b，c，d，f，g] T ，x=[x 2，xy，y 2，x，y，1] T ，a、b、c、d、f、g为该隐式二阶多项式的各个系数。F（a，xi）表示的是点到二次曲线F=（a，x）的算数距离。而N个数据点x i 的算数距离的平方和即为：
其中，D=[x1,x2,…xn]T。
基于这些点拟合的二次曲线即可通过最小化该值来求得。由于一般的二次曲线满足椭圆条件，则满足不等式4ac-b2>0。所以可以令4ac-b2=1，具体表示为矩阵即为：
此时，则将当前椭圆的拟合即转换为在aTCa=1的条件下最小化E=||Da||2。
进一步引入拉格朗日因子并对E进行微分，则可以得到以下的两个等式方程：
令S=D T D，则上述方程可以改写为：
其中，第一个方程的解为S的广义特征向量。如果是第一个方程的一个解，那么对于任意的μ，/>也是该方程的解，因此可以将其代入第二个方程中求解μ，从而得到：
最后，令即可以得到/>的解，即可以得到拟合的当前椭圆的相关系数，即得到当前椭圆曲线的表达式中的a、b、c、d、f、g。
S202、利用当前椭圆的二次曲线表达式中的各个系数，计算得到当前椭圆的特征参数。
其中，在本申请实施例中，当前椭圆的特征参数包括当前椭圆的中心的坐标、短长轴之比以及旋转角度。短长轴之比为椭圆的短轴与长轴的比值。旋转角度指代当前椭圆的长轴与坐标系中的X轴的夹角，即与水平线之间的夹角。由于通过当前椭圆的中心的坐标可以确定当前椭圆的位置，通过当前椭圆的短长轴之比可以确定当前椭圆的轮廓，而根据当前椭圆的旋转角度可以确定当前椭圆的倾斜角度，所以根据这些特征参数则可以确定出唯一的当前椭圆。
具体的，当前椭圆的长轴长度为：
短轴长度为：
旋转角度为：
当前椭圆的中心的横坐标为：
当前椭圆的中心的纵坐标为：
S105、基于当前椭圆的特征参数，查找出当前椭圆对应的眼球位姿参数。
其中，当前椭圆对应的眼球位姿参数指代投影出当前椭圆的眼球的位姿参数。
需要说明的是，在本申请实施例中，以眼球的中心点为坐标系的原点。而眼球是可以转动的，即可以处于不同的位姿，而其处于不同位姿时，相机所拍摄得到的当前椭圆则不同，因此拍摄时眼球的位姿即为当前椭圆对应的眼球位姿参数，即简单的理解就是眼球处于什么样的位姿时，才会使得拍摄得到当前椭圆。而在确定当前椭圆的特征参数后，则可以反推出眼球的位姿参数，从而才能基于眼球的位姿参数将其绘制在三维坐标图像中。
由于不同的眼球位姿下，所拍摄得到的当前椭圆是确定的，即眼球位姿参数与拍摄得到的椭圆是一一对应的，因此在本申请实施例中，预先构建了各个特征参数对应的眼球位姿参数，从而可以在确定出当前椭圆的特征参数时，可以直接查找到当前椭圆对应的眼球位姿参数。
可选地，在当前椭圆的特征参数包括当前椭圆的中心的坐标、短长轴之比以及旋转角度时，在本申请另一实施例中，步骤S105的一种具体实施方式，如图3所示，包括以下步骤：
S301、基于当前椭圆的短长轴之比，从预先构建的第一对应关系表中查找出第一眼球位姿参数和第二眼球位姿参数，以及基于当前椭圆的旋转角度，从预先构建的第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数。
其中，第一眼球位姿参数和第二眼球位姿参数为第一对应关系表中与当前椭圆的短长轴之比的差值最小的两个短长轴之比对应的眼球位姿参数。第三眼球位姿参数和第四眼球位姿参数为第二对应关系表中与当前椭圆的旋转角度的差值最小的两个旋转角度对应的眼球位姿参数。
需要说明的是，对于不同的眼球位姿，都有唯一的一组椭圆参数与之对应，所以可以将两者的对应关系记录下来，生成每一类特征参数与其对应的眼球位姿参数的对应关系表。
因为构建的对应关系表中不可能存在每个数值对应的眼球位姿参数，因此需要采用插值法来确定相应的眼球位姿参数。因此，对于当前椭圆的短长轴之比，需要从第一对应关系表中，差值出与其差值最小的两个短长轴之比，即确定出其是位于表中的哪两个数值之间，然后提取出这两个数值对应的眼球位姿参数，从而得到第一眼球位姿参数和第二眼球位姿参数。同理，从第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数。
S302、基于当前椭圆的短长轴之比以及当前椭圆的旋转角度，利用逆向双线性插值法计算得到第一插值系数和第二插值系数。
由于对应关系表的结构，通常查询对应关系表示根据眼球位姿参数查询椭圆特征参数，而现在是需要根据椭圆的特征参数查询眼球位姿参数，所以需要采用逆向的插值法进行查询。而由于存在两项特征参数，所以可以采用逆向双线性插值法。
具体的对于逆向双线性插值法，若P是A和B的线性插值，其表示为：
其中，u为[0,1]范围内的插值系数，即第一插值系数，而A和B即为第一对应关系表中记录的与当前椭圆的短长轴之比的差值最小的两个短长轴之比。
同理，若Q是C和D的线性插值，其可以表示为：
其中，C和D可以为第二对应关系表中记录的与当前椭圆的旋转角度的差值最小的两个旋转角度。
同理，X则为P和Q的线性插值，具体可以表示为：
其中，ν为[0,1]范围内的插值系数，即为第二插值系数。
将第一和第二个式子代入第三个式子中，则可以得到双线性插值公式：
而逆向双线性插值，即为通过X、A、B、C、D的值，求解得到第一插值系数以及第二插值系数，而X、A、B、C、D的值为已知的。
为此，可以令E=B-A，F=D-A，GA-B+C-D，H=X-A，则双线性插值公式变换为：
为了求得该公式中的两个插值系数，需要分别建立两个这样的等式，即二维的数据。假设标识为i维和j维，则在第i维上有：
并将其代入同样的j维的公式中，则可以得到：
显然，这是一个关于第二插值系数的一元二次方程，通过求根公式即可以得到第二插值系数的两个解，并且取其中在[0,1]范围内的解作为第二插值系数的有效解，即确定了第二插值系数。而在得到第二插值系数后，即可以计算得到第一插值系数。
S303、利用第一插值系数和第二插值系数，对第一眼球位姿参数、第二眼球位姿参数、第三眼球位姿参数、第四眼球位姿参数进行双线性插值计算，得到当前椭圆对应的第一旋转角度以及第二旋转角度。
其中，第一旋转角度指代眼球左右旋转的角度，第二旋转角度指代眼球上下旋转的角度。
需要说明的是，由于对于眼球而言，其可以左右旋转和上下旋转，即在可以绕在三维坐标系中的X轴和Y轴旋转，因此当前椭圆对应的眼球位姿参数通常为眼球左右旋转的角度和上下旋转的角度，即为眼球绕在三维坐标系中的X轴和Y轴旋转的角度。并且，眼球的中心相较于原点的偏移量，决定了当前椭圆的中心在二维眼部图像中的位置，因此在本申请实施例中，当前椭圆对应的眼球位姿参数为当前椭圆对应的第一旋转角度和第二旋转角度，以及当前椭圆的中心的坐标偏移量。
具体的，在求得第一插值系数和第二插值系数后，即可以利用第一插值系数和第二插值系数，对查询到的四组眼球位姿参数进行双线性插值，则可以得到当前椭圆对应的第一旋转角度以及第二旋转角度。
S304、基于当前椭圆对应的第一旋转角度以及第二旋转角度，从预先构建的第三对应关系表和第四对应关系表查找出当前椭圆的中心对应的坐标偏移量。
其中，坐标偏移量包括与眼球中心的横坐标以及纵坐标的偏移量。
S106、基于当前椭圆对应的眼球位姿参数以及当前二维眼部图像的采集设备参数，确定当前投影关系。
其中，当前投影关系指代眼球上的点与其投影到当前二维眼部图像中的像素点间的坐标关系。
需要说明的是，根据当前椭圆对应的眼球位姿参数，则可以确定拍摄时眼球在三维坐标系中的具体位姿，而由于采集设备的参数，如焦距等，会影响到成像，因此在确定三维眼球与二维眼部图像之间的投影关系时，不仅要考虑到当前椭圆对应的眼球位姿参数，还需要考虑到当前二维眼部图像的采集设备参数。
可选地，在当前椭圆对应的眼球位姿参数为当前椭圆对应的第一旋转角度、第二旋转角度以及中心的坐标偏移量时，在本申请实施例中，步骤S106的一种可选的具体实施方式，如图4所示，包括：
S401、分别基于当前椭圆对应的第一旋转角度以及第二旋转角度，构建第一旋转矩阵以及第二旋转矩阵。
具体的，若以眼球中心点为原点，并且眼球的半径为R，则对于三维眼球的表面上的任意一点（x,y,z），则有：x 2+y 2+z 2=R2。而第一旋转角度为眼球绕着X轴转到的角度，所以其旋转矩阵，即第一旋转矩阵可以表示为：
而第二旋转角度，为眼球绕着Y轴旋转，其对应的第二旋转矩阵为：
S402、利用第一旋转矩阵、第二旋转矩阵以及当前二维眼部图像的采集设备距离眼球的距离，确定设备坐标变换关系式。
其中，设备坐标变换关系式为眼球上的任意一点在采集设备的坐标系下的坐标变换关系式。
具体的，若当前二维眼部图像的采集设备距离眼球的距离为d t ，则眼球至采集设备的成像的平移向量为：T=[0,0,d t ]。因此眼球上的任意一点在采集设备的坐标系下的变换关系式如下所示：
S403、利用设备坐标变换关系式以及当前二维眼部图像的采集设备的内参矩阵，得到相对坐标关系式。
其中，相对坐标关系式表示眼球上的点与其投影到图像平面上的坐标像素点间的相对坐标的关系式。
具体的，假如当前二维眼部图像的采集设备的焦距为f x 和f y ，则当前二维眼部图像的采集设备的内参矩阵可以表示为：
其中，(u 0 ,v 0 )表示采集设备的中心点。
所以当光轴通过眼球中心点时，眼球上任意一点投影到图像平面上所得到的相对坐标为(u,v)，即相对坐标关系式可以表示为：
其中，s表示尺度因子。
S404、基于当前椭圆的中心对应的坐标偏移量，计算眼球中心在当前二维眼部图像中的坐标。
S405、基于相对坐标关系式以及眼球中心在当前二维眼部图像中的坐标，确定当前投影关系。
由于，所得到的相对坐标关系式是相对于空间坐标系中的眼球中心点的坐标，而要得到三维图像中的点在二维图像上的绝对坐标，则还需要进一步考虑眼球中心在当前二维眼部图像中的坐标，即通过相对坐标关系式可以得到一个点与空间坐标系中的眼球中心点的相对位置关系。而要得到在二维中的坐标，则可以根据中心点在二维中的坐标，并结合相对位置关系，即可以得到该点在二维坐标系中的坐标。
S107、基于当前投影关系绘制出当前二维眼部图像对应的三维眼部图像。
需要说明的是，由于当前投影关系可以确定出当前二维眼部图像中的各个像素点在三维空间坐标系中的位置，所以基于当前投影关系，即可以在三维坐标系中绘制出其对应的三维眼部图像。
可选地，在本申请实施例中，步骤S107的一种可选的具体实施方式，如图5所示，包括：
S501、分别将眼球上的多个目标点的坐标代入当前投影关系中，确定出各个目标点投影在当前二维眼部图像的像素点坐标。
需要说明的是，在眼球大小一定时，所生成的三维眼部图像是一定的，所以为了能生成任意点云密度的三维眼部图像，即生成任意分辨率的三维眼球图像，不受二维图像分辨率的限制。因此在本申请实施例中，是根据分辨率需求，对三维眼球图像进行点密采集，即选择多个点作为目标点，然后去二维眼部图像中查找其对应的像素点，以通过对应的像素点的颜色值，确定三维眼球图像中的该目标点应该被绘制成什么颜色。
所以在本方案中，先根据分辨率需求对三维眼球图像进行点密采集，即选择多个点作为目标点，然后将其坐标代入当前投影关系中，确定出各个目标点投影在当前二维眼部图像的像素点坐标。
当然，也可以是针对二维眼部图像中的多个像素点，查找到其在三维眼部图像中的对应点，并将利用该像素点的颜色值绘制其在三维眼部图像中的对应点。但是这样，所生成是三维眼部图像的分辨率最高仅能与二维眼部图像一致，即针对二维眼部图像中的所有像素点进行绘制。
S502、根据各个目标点投影在当前二维眼部图像上的像素点坐标所对应的像素点的颜色值，确定各个目标点的颜色值。
需要说明的是，当目标对应的像素点坐标正好落在某一个像素点上时，则该像素点的颜色值，即可以直接确定为目标点的颜色值。但是由于目标点的数量可以大于当前二维眼部图像上的像素点，所以目标点的像素点坐标可能没有正好落在某一个像素点上，此时则同样可以通过插值法确定目标点的颜色值。
S503、根据目标点的坐标以及各个目标点的颜色值，绘制出当前二维眼部图像对应的三维眼部图像。
本申请另一实施例提供了一种三维人眼图像生成方法，先获取当前二维眼部图像。然后提取出当前二维眼部图像中的感兴趣区域，并从当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点，以及与虹膜外边缘形成的椭圆的特征，分析投影情况。所以进一步对眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数，然后基于当前椭圆的特征参数，查找出当前椭圆对应的眼球位姿参数，即查找出投影出当前椭圆的眼球的位姿参数。其中，当前椭圆对应的眼球位姿参数指代投影出当前椭圆的眼球的位姿参数。接着基于当前椭圆对应的眼球位姿参数以及当前二维眼部图像的采集设备参数，确定当前投影关系。其中，当前投影关系指代眼球上的点与其投影到当前二维眼部图像中的像素点间的坐标关系。最后基于当前投影关系绘制出当前二维眼部图像对应的三维眼部图像，从而不需要通过三维传感器采集图像，直接将得到的当前二外眼部图像准确地转换为三维眼部图像，可以准确地反映出眼部中的特征，满足后续分析的需求。
本申请另一实施例提供了一种三维人眼图像生成装置，如图6所示，包括：
图像获取单元601，用于获取当前二维眼部图像。
区域提取单元602，用于提取出当前二维眼部图像中的感兴趣区域。
边缘检测单元603，用于从当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点。
拟合单元604，用于对眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数。
位姿查找单元605，基于当前椭圆的特征参数，查找出当前椭圆对应的眼球位姿参数。
其中，当前椭圆对应的眼球位姿参数指代投影出当前椭圆的眼球的位姿参数。
关系确定单元606，用于基于当前椭圆对应的眼球位姿参数以及当前二维眼部图像的采集设备参数，确定当前投影关系。其中，当前投影关系指代眼球上的点与其投影到当前二维眼部图像中的像素点间的坐标关系。
绘制单元607，用于基于当前投影关系绘制出当前二维眼部图像对应的三维眼部图像。
可选地，本申请另一实施例提供的三维人眼图像生成装置中，拟合单元，包括：
系数拟合单元，用于利用最小二乘法对眼球虹膜的外边缘像素点进行椭圆拟合计算，得到当前椭圆的二次曲线表达式中的各个系数。
特征参数计算单元，用于利用当前椭圆的二次曲线表达式中的各个系数，计算得到当前椭圆的特征参数。其中，当前椭圆的特征参数包括当前椭圆的中心的坐标、短长轴之比以及旋转角度。
可选地，本申请另一实施例提供的三维人眼图像生成装置中，位姿查找单元，包括：
第一查找单元，用于基于当前椭圆的短长轴之比，从预先构建的第一对应关系表中查找出第一眼球位姿参数和第二眼球位姿参数，以及基于当前椭圆的旋转角度，从预先构建的第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数。
其中，第一眼球位姿参数和第二眼球位姿参数为第一对应关系表中，与当前椭圆的短长轴之比的差值最小的两个短长轴之比对应的眼球位姿参数。第三眼球位姿参数和第四眼球位姿参数为第二对应关系表中，与当前椭圆的旋转角度的差值最小的两个旋转角度对应的眼球位姿参数。
系数计算单元，用于基于当前椭圆的短长轴之比以及当前椭圆的旋转角度，利用逆向双线性插值法计算得到第一插值系数和第二插值系数。
插值计算单元，用于利用第一插值系数和第二插值系数，对第一眼球位姿参数、第二眼球位姿参数、第三眼球位姿参数、第四眼球位姿参数进行双线性插值计算，得到当前椭圆对应的第一旋转角度以及第二旋转角度。
其中，第一旋转角度指代眼球左右旋转的角度，第二旋转角度指代眼球上下旋转的角度。
第二查找单元，用于基于当前椭圆对应的第一旋转角度以及第二旋转角度，从预先构建的第三对应关系表和第四对应关系表查找出当前椭圆的中心对应的坐标偏移量。
其中，坐标偏移量包括与眼球中心的横坐标以及纵坐标的偏移量。
可选地，本申请另一实施例提供的三维人眼图像生成装置中，关系确定单元，包括：
矩阵构建单元，用于分别基于当前椭圆对应的第一旋转角度以及第二旋转角度，构建第一旋转矩阵以及第二旋转矩阵。
第一确定单元，用于利用第一旋转矩阵、第二旋转矩阵以及当前二维眼部图像的采集设备距离眼球的距离，确定设备坐标变换关系式。其中，设备坐标变换关系式为眼球上的任意一点在采集设备的坐标系下的坐标变换关系式。
第二确定单元，用于利用设备坐标变换关系式以及当前二维眼部图像的采集设备的内参矩阵，得到相对坐标关系式。
其中，相对坐标关系式表示眼球上的点与其投影到图像平面上的像素点间的相对坐标的关系式。
坐标计算单元，用于基于当前椭圆的中心对应的坐标偏移量，计算眼球中心在当前二维眼部图像中的坐标。
第三确定单元，用于基于相对坐标关系式以及眼球中心在当前二维眼部图像中的坐标，确定当前投影关系。
可选地，本申请另一实施例提供的三维人眼图像生成装置中，绘制单元，包括：
坐标确定单元，用于分别将眼球上的多个目标点的坐标代入当前投影关系中，确定出各个目标点投影在当前二维眼部图像的像素点坐标。
颜色确定单元，用于根据各个目标点投影在当前二维眼部图像上的像素点坐标所对应的像素点的颜色值，确定各个目标点的颜色值。
绘制子单元，用于根据目标点的坐标以及各个目标点的颜色值，绘制出当前二维眼部图像对应的三维眼部图像。
需要说明的是，本申请上述实施例提供的各个单元的具体工作过程，可相应地参考上述方法实施例中的相应的步骤的实施过程，此处不再赘述。
本申请另一实施例提供了一种电子设备，如图7所示，包括：
存储器701和处理器702。
其中，存储器701用于存储程序。
处理器702用于执行存储器701存储的程序，该程序被执行时，具体用于实现如上述任意一个实施例提供的三维人眼图像生成方法。
本申请另一实施例提供了一种计算机存储介质，用于存储计算机程序，该计算机程序被执行时，用于实现如上述任意一个实施例提供的三维人眼图像生成方法。
计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种三维人眼图像生成方法，其特征在于，包括：
获取当前二维眼部图像；
提取出所述当前二维眼部图像中的感兴趣区域；
从所述当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点；
对所述眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数；
基于所述当前椭圆的特征参数，查找出所述当前椭圆对应的眼球位姿参数；其中，所述当前椭圆对应的眼球位姿参数指代投影出所述当前椭圆的眼球的位姿参数；
基于所述当前椭圆对应的眼球位姿参数以及所述当前二维眼部图像的采集设备参数，确定当前投影关系；其中，所述当前投影关系指代眼球上的点与其投影到所述当前二维眼部图像中的像素点间的坐标关系；
基于所述当前投影关系绘制出所述当前二维眼部图像对应的三维眼部图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数，包括：
利用最小二乘法对所述眼球虹膜的外边缘像素点进行椭圆拟合计算，得到所述当前椭圆的二次曲线表达式中的各个系数；
利用所述当前椭圆的二次曲线表达式中的各个系数，计算得到所述当前椭圆的特征参数；其中，所述当前椭圆的特征参数包括所述当前椭圆的中心的坐标、短长轴之比以及旋转角度。
3.根据权利要求2所述的方法，其特征在于，所述基于所述当前椭圆的特征参数，查找出所述当前椭圆对应的眼球位姿参数，包括：
基于所述当前椭圆的短长轴之比，从预先构建的第一对应关系表中查找出第一眼球位姿参数和第二眼球位姿参数，以及基于所述当前椭圆的旋转角度，从预先构建的第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数；其中，所述第一眼球位姿参数和所述第二眼球位姿参数为所述第一对应关系表中，与所述当前椭圆的短长轴之比的差值最小的两个短长轴之比对应的眼球位姿参数；所述第三眼球位姿参数和所述第四眼球位姿参数为所述第二对应关系表中，与所述当前椭圆的旋转角度的差值最小的两个旋转角度对应的眼球位姿参数；
基于所述当前椭圆的短长轴之比以及所述当前椭圆的旋转角度，利用逆向双线性插值法计算得到第一插值系数和第二插值系数；
利用所述第一插值系数和所述第二插值系数，对所述第一眼球位姿参数、所述第二眼球位姿参数、所述第三眼球位姿参数、所述第四眼球位姿参数进行双线性插值计算，得到所述当前椭圆对应的第一旋转角度以及第二旋转角度；其中，所述第一旋转角度指代眼球左右旋转的角度；所述第二旋转角度指代眼球上下旋转的角度；
基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，从预先构建的第三对应关系表和第四对应关系表查找出所述当前椭圆的中心对应的坐标偏移量；其中，所述坐标偏移量包括与眼球中心的横坐标以及纵坐标的偏移量。
4.根据权利要求3所述的方法，其特征在于，所述基于所述当前椭圆对应的眼球位姿参数以及所述当前二维眼部图像的采集设备参数，确定当前投影关系，包括：
分别基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，构建第一旋转矩阵以及第二旋转矩阵；
利用所述第一旋转矩阵、所述第二旋转矩阵以及所述当前二维眼部图像的采集设备距离眼球的距离，确定设备坐标变换关系式；其中，所述设备坐标变换关系式为眼球上的任意一点在所述采集设备的坐标系下的坐标变换关系式；
利用所述设备坐标变换关系式以及所述当前二维眼部图像的采集设备的内参矩阵，得到相对坐标关系式；其中，所述相对坐标关系式表示眼球上的点与其投影到图像平面上的坐标像素点间的相对坐标的关系式；
基于所述当前椭圆的中心对应的坐标偏移量，计算眼球中心在所述当前二维眼部图像中的坐标；
基于所述相对坐标关系式以及眼球中心在所述当前二维眼部图像中的坐标，确定当前投影关系。
5.根据权利要求4所述的方法，其特征在于，所述基于所述当前投影关系绘制出所述当前二维眼部图像对应的三维眼部图像，包括：
分别将眼球上的多个目标点的坐标代入所述当前投影关系中，确定出各个所述目标点投影在所述当前二维眼部图像的像素点坐标；
根据各个所述目标点投影在所述当前二维眼部图像上的像素点坐标所对应的像素点的颜色值，确定各个所述目标点的颜色值；
根据所述目标点的坐标以及各个所述目标点的颜色值，绘制出所述当前二维眼部图像对应的三维眼部图像。
6.一种三维人眼图像生成装置，其特征在于，包括：
图像获取单元，用于获取当前二维眼部图像；
区域提取单元，用于提取出所述当前二维眼部图像中的感兴趣区域；
边缘检测单元，用于从所述当前二维眼部图像中的感兴趣区域内，检测出眼球虹膜的外边缘像素点；
拟合单元，用于对所述眼球虹膜的外边缘像素点进行椭圆拟合，得到当前椭圆的特征参数；
位姿查找单元，基于所述当前椭圆的特征参数，查找出所述当前椭圆对应的眼球位姿参数；其中，所述当前椭圆对应的眼球位姿参数指代投影出所述当前椭圆的眼球的位姿参数；
关系确定单元，用于基于所述当前椭圆对应的眼球位姿参数以及所述当前二维眼部图像的采集设备参数，确定当前投影关系；其中，所述当前投影关系指代眼球上的点与其投影到所述当前二维眼部图像中的像素点间的坐标关系；
绘制单元，用于基于所述当前投影关系绘制出所述当前二维眼部图像对应的三维眼部图像。
7.根据权利要求6所述的装置，其特征在于，所述拟合单元，包括：
系数拟合单元，用于利用最小二乘法对所述眼球虹膜的外边缘像素点进行椭圆拟合计算，得到所述当前椭圆的二次曲线表达式中的各个系数；
特征参数计算单元，用于利用所述当前椭圆的二次曲线表达式中的各个系数，计算得到所述当前椭圆的特征参数；其中，所述当前椭圆的特征参数包括所述当前椭圆的中心的坐标、短长轴之比以及旋转角度。
8.根据权利要求7所述的装置，其特征在于，所述位姿查找单元，包括：
第一查找单元，用于基于所述当前椭圆的短长轴之比，从预先构建的第一对应关系表中查找出第一眼球位姿参数和第二眼球位姿参数，以及基于所述当前椭圆的旋转角度，从预先构建的第二对应关系表中查找出第三眼球位姿参数和第四眼球位姿参数；其中，所述第一眼球位姿参数和所述第二眼球位姿参数为所述第一对应关系表中，与所述当前椭圆的短长轴之比的差值最小的两个短长轴之比对应的眼球位姿参数；所述第三眼球位姿参数和所述第四眼球位姿参数为所述第二对应关系表中，与所述当前椭圆的旋转角度的差值最小的两个旋转角度对应的眼球位姿参数；
系数计算单元，用于基于所述当前椭圆的短长轴之比以及所述当前椭圆的旋转角度，利用逆向双线性插值法计算得到第一插值系数和第二插值系数；
插值计算单元，用于利用所述第一插值系数和所述第二插值系数，对所述第一眼球位姿参数、所述第二眼球位姿参数、所述第三眼球位姿参数、所述第四眼球位姿参数进行双线性插值计算，得到所述当前椭圆对应的第一旋转角度以及第二旋转角度；其中，所述第一旋转角度指代眼球左右旋转的角度；所述第二旋转角度指代眼球上下旋转的角度；
第二查找单元，用于基于所述当前椭圆对应的第一旋转角度以及第二旋转角度，从预先构建的第三对应关系表和第四对应关系表查找出所述当前椭圆的中心对应的坐标偏移量；其中，所述坐标偏移量包括与眼球中心的横坐标以及纵坐标的偏移量。
9.一种电子设备，其特征在于，包括：
存储器和处理器；
其中，所述存储器用于存储程序；
所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如权利要求1至5任意一项所述的三维人眼图像生成方法。
10.一种计算机存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如权利要求1至5任意一项所述的三维人眼图像生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954934.8A CN116664394B (zh) | 2023-08-01 | 2023-08-01 | 一种三维人眼图像生成方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310954934.8A CN116664394B (zh) | 2023-08-01 | 2023-08-01 | 一种三维人眼图像生成方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116664394A true CN116664394A (zh) | 2023-08-29 |
| CN116664394B CN116664394B (zh) | 2023-10-03 |
Family
ID=87712236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310954934.8A Active CN116664394B (zh) | 2023-08-01 | 2023-08-01 | 一种三维人眼图像生成方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116664394B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070171369A1 (en) * | 2006-01-16 | 2007-07-26 | Sensomotoric Instruments Gmbh | Method of determining the spatial relationship of an eye of a person with respect to a camera device |
| JP2018149234A (ja) * | 2017-03-15 | 2018-09-27 | 公立大学法人広島市立大学 | 注視点推定システム、注視点推定方法及び注視点推定プログラム |
| CN109272557A (zh) * | 2018-11-05 | 2019-01-25 | 北京科技大学 | 一种单相机单光源视线追踪系统眼球参数标定方法 |
| CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
| CN110363133A (zh) * | 2019-07-10 | 2019-10-22 | 广州市百果园信息技术有限公司 | 一种视线检测和视频处理的方法、装置、设备和存储介质 |
| CN110780739A (zh) * | 2019-10-18 | 2020-02-11 | 天津理工大学 | 基于注视点估计的眼控辅助输入方法 |
| CN112381884A (zh) * | 2020-11-12 | 2021-02-19 | 北京航空航天大学 | 基于rgbd相机的空间圆目标位姿测量方法 |
| CN113192132A (zh) * | 2021-03-18 | 2021-07-30 | 魔珐(上海)信息科技有限公司 | 眼神捕捉方法及装置、存储介质、终端 |
| CN115131433A (zh) * | 2022-06-16 | 2022-09-30 | 西北工业大学 | 一种非合作目标位姿的处理方法、装置及电子设备 |
-
2023
- 2023-08-01 CN CN202310954934.8A patent/CN116664394B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070171369A1 (en) * | 2006-01-16 | 2007-07-26 | Sensomotoric Instruments Gmbh | Method of determining the spatial relationship of an eye of a person with respect to a camera device |
| JP2018149234A (ja) * | 2017-03-15 | 2018-09-27 | 公立大学法人広島市立大学 | 注視点推定システム、注視点推定方法及び注視点推定プログラム |
| CN109308472A (zh) * | 2018-09-30 | 2019-02-05 | 华南理工大学 | 一种基于虹膜投影匹配函数的三维视线估计方法 |
| CN109272557A (zh) * | 2018-11-05 | 2019-01-25 | 北京科技大学 | 一种单相机单光源视线追踪系统眼球参数标定方法 |
| CN110363133A (zh) * | 2019-07-10 | 2019-10-22 | 广州市百果园信息技术有限公司 | 一种视线检测和视频处理的方法、装置、设备和存储介质 |
| CN110780739A (zh) * | 2019-10-18 | 2020-02-11 | 天津理工大学 | 基于注视点估计的眼控辅助输入方法 |
| CN112381884A (zh) * | 2020-11-12 | 2021-02-19 | 北京航空航天大学 | 基于rgbd相机的空间圆目标位姿测量方法 |
| CN113192132A (zh) * | 2021-03-18 | 2021-07-30 | 魔珐(上海)信息科技有限公司 | 眼神捕捉方法及装置、存储介质、终端 |
| CN115131433A (zh) * | 2022-06-16 | 2022-09-30 | 西北工业大学 | 一种非合作目标位姿的处理方法、装置及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 陈骥;彭承琳;: "眼底图像的三维重建", 生物医学工程学杂志, no. 01 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116664394B (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416791B (zh) | 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法 | |
| CN106651942B (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| WO2022088982A1 (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| CN111292239B (zh) | 一种三维模型拼接设备及方法 | |
| CN107084680B (zh) | 一种基于机器单目视觉的目标深度测量方法 | |
| CN109559371B (zh) | 一种用于三维重建的方法和装置 | |
| CN108171715B (zh) | 一种图像分割方法及装置 | |
| CN112132908B (zh) | 一种基于智能检测技术的相机外参数标定方法及设备 | |
| CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
| CN106875436A (zh) | 一种基于特征点密度由聚焦堆栈估计深度的方法和装置 | |
| CN111060006A (zh) | 一种基于三维模型的视点规划方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
| CN112465778A (zh) | 一种水下鱼群观测装置及方法 | |
| CN110007764B (zh) | 一种手势骨架识别方法、装置、系统及存储介质 | |
| CN113436313A (zh) | 一种基于无人机的三维重建误差主动修正方法 | |
| CN116664394B (zh) | 一种三维人眼图像生成方法及装置、电子设备、存储介质 | |
| CN114782470B (zh) | 消化道的三维全景识别定位方法、存储介质和设备 | |
| CN111127613A (zh) | 基于扫描电子显微镜的图像序列三维重构方法及系统 | |
| CN116125489A (zh) | 一种室内物体三维检测方法、计算机设备及存储介质 | |
| CN112950723B (zh) | 基于边缘尺度自适应散焦模糊估计的机器人相机标定方法 | |
| CN112146647B (zh) | 一种地面纹理的双目视觉定位方法及芯片 | |
| WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| CN111489384B (zh) | 基于互视角的遮挡评估方法及装置、设备、系统和介质 | |
| CN114140659A (zh) | 一种基于无人机视角下人体检测的社交距离监控方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |