CN113597616A - 瞳孔位置的确定方法、装置及系统 - Google Patents

Abstract

本申请涉及人工智能技术领域，提供一种瞳孔位置的确定方案，包括：获取包括瞳孔的图像以及对应的热力图，该热力图用于表示瞳孔点在图像中的概率分布，其中瞳孔点为瞳孔的中心点。利用热力图中的像素对应的概率值、第一阈值和第二阈值，确定出瞳孔点在图像中的二维位置和瞳孔点的深度值。再根据瞳孔点在图像中的二维位置和瞳孔点的深度值确定出瞳孔点的三维位置。由于采用了基于概率分布的热力图来确定瞳孔点三维位置，预测出的瞳孔点的位置更准确，并且，在遮挡、光照、眼球大姿态等不同的场景下，预测瞳孔点的鲁棒性更佳。

Description

瞳孔位置的确定方法、装置及系统

技术领域

本申请涉及人工智能的技术领域，尤其涉及瞳孔位置的确定方法、装置及系统。

背景技术

瞳孔关键点定位技术在视线追踪、眼动识别、虹膜检测等领域中有着广泛的用途，同时，随着虚拟现实技术以及人机交互的逐渐热门，瞳孔定位技术受到越来越广泛的关注。在早期，二维(2dimension，2D)瞳孔关键点定位主要采用传统的图像处理算法，对图像进行二值化、腐蚀、膨胀等操作，然后利用检测算法圈出虹膜，再根据圆心进一步求解出虹膜的中心点。

近年来，随着深度学习的发展和硬件设备性能的不断提升，采用深度学习的方法进行瞳孔关键点定位越来越多，当前深度学习在人脸和人体关键点定位领域都有着很大的进展，精度也越来越高，效果变得越来越好。但是，由于瞳孔关键点定位对定位的精度有着很高的要求，当前仅采用深度学习并仅针对眼部瞳孔进行定位的技术还比较少。

例如在进行视线追踪的技术中，需要能够精确定位瞳孔点在摄像头坐标系下的三维(3dimension，3D)空间位置。具体的，在视线追踪任务中，主要需要预测人眼所看的方向，然后进一步计算出人眼所看的实际目标位置。为了达到此目的，首先需要定位出视线的起始点，而视线起始点的定位，即需要通过瞳孔关键点定位技术，如何确定出瞳孔点在摄像头坐标系下的3D空间位置，是做好视线估计的基础。

发明内容

本申请提供一种瞳孔位置的确定方案，该方案包括用于瞳孔位置的确定方法、装置、系统、计算机可读存储介质及计算机程序产品，可以实现对瞳孔三维位置的定位。

为达到上述目的，本申请第一方面提供了一种瞳孔位置的确定方法，包括：获取包括瞳孔的图像以及对应的热力图，其中，该热力图用于表示瞳孔点在图像中的概率分布，瞳孔点为瞳孔的中心点。根据热力图的第一区域，确定瞳孔点在图像中的位置，其中，热力图的第一区域中的像素对应的概率值大于第一阈值。确定图像中的第二区域，其中，第二区域在热力图中的像素对应的概率值大于第二阈值，并且第二阈值小于或等于第一阈值。由图像中的第二区域的像素的深度值确定瞳孔点的深度值。根据瞳孔点的二维位置、瞳孔点的深度值确定瞳孔点的三维位置，其中，瞳孔点的二维位置指瞳孔点在图像中的位置。

由上，可以实现3D瞳孔点的定位，为视线追踪、眼动、人机交互等技术方向提供了技术支撑，为视线技术提供了精确且稳定的起始点，为视线估计的稳定性提供了保证。例如，在车辆的智能座舱中可以根据估计的瞳孔的3D坐标点测量驾驶员的坐高，以自动调整座椅，使得座椅处于最舒适的高度。在驾驶员监控中，也可根据瞳孔三维位置判断驾驶员的分神情况。

其中，可以采用深度神经网络预测瞳孔点的热力图，通过热力图表示瞳孔点的概率分布，深度神经网络根据图像回归热力图相比直接回归瞳孔点坐标更加容易，并且对遮挡、光照、眼球大姿态等场景也更加鲁棒，在一定程度上解决瞳孔位置定位不够准确，效果不够鲁棒的问题。具体来说，在瞳孔点定位上，现有的瞳孔点定位要么是采用基于传统的图像处理算法来检测，要么是直接利用深度神经网络提取特征进行关键点坐标的直接回归，将预测瞳孔热力图应用在瞳孔坐标定位上，回归出来的是瞳孔坐标的概率分布，而不是简单的坐标位置，通过回归热力图的方法，本发明预测出的瞳孔坐标更加准确，同时也更加鲁棒。

作为第一方面的一种可能的实现方式，根据热力图的第一区域，确定瞳孔点的在图像中的位置，可以采用的方式包括：根据热力图的第一区域的中心位置，确定瞳孔点的在图像中的位置。

可选的，可以使用热力图的第一区域中心位置作为瞳孔点在图像中的位置，具有较好的鲁棒性。例如，可以对人眼区域的热力图采用argmax函数求解出概率值(即概率值)最高的点、次高点、低于次高点的第二次高点等等，可以根据需要选取最高点的集合，或最高点与次高点的集合作为第一区域，将这些点位置均值作为瞳孔点的位置。由于基于热力图反应的是各像素的区域(例如概率值最高的点对应的是多个像素的集合)，而非针对单一的像素，以及argmax所求解的也涉及点的集合(例如概率值最高点的集合、次高点的集合)，因此使用均值来求解瞳孔点的位置，另外，采用均值的方式计算，可以具有更好的鲁棒性。

可选的，在计算均值时，也可以引入权值进行计算。例如，在一些可能的实现方式中，当通过均值的方式计算瞳孔点位置时，还可以根据概率值进行加权，概率值越高权值越大。

在另一些可能的实现方式中，还可以根据点所在位置对计算均值时进行加权，例如计算位置均值时，对各个次高点位置，根据该次高点距离最高的点的距离进行加权，越远权值越低。

作为第一方面的一种可能的实现方式，第一阈值为热力图中的概率值的次高值。

由上，可以根据需要选择第一阈值范围，采用次高值作为第一阈值，可以实现在较小数据量下的确保瞳孔点的计算的准确性。在其他可能的实现方式中，也可以选择更大或更小的第一阈值，以使该第一阈值对应的第一区域中的点更少或更多。例如一种可能的实现方式是设置更低的第一阈值，以将低于次高点的第二次高点也作为第一区域对应的第一阈值。

作为第一方面的一种可能的实现方式，瞳孔点的深度值由图像的第二区域的像素的深度值确定包括：根据图像中的第二区域的像素的深度值的均值确定瞳孔点的深度值。

由上，上述计算瞳孔点的深度值时，通过第二区域内深度均值作为瞳孔点均值，增加了鲁棒性。具体来说，现有的求解深度往往是对整张图求解，并且在纹理特征不明显的地方求解的不够准确。而使用热力图为深度求解提供指引，能够只去关注热力图部分的求解。另一方面，当深度值来自于双目图像采集装置时，热力图的指引可以促进两张图瞳孔位置的匹配，缓解瞳孔位置纹理特征不够明显的影响，并且利用了区域均值替代瞳孔中心均值，提高深度估计的准确度和稳定性。

作为第一方面的一种可能的实现方式，图像包括第一图像和第二图像，其中，第一图像和第二图像为从不同视角拍摄的两张图像，相应的，热力图包括第一图像对应的第一热力图和第二图像对应的第二热力图。根据热力图的第一区域，确定瞳孔点在图像中的位置，具体包括：根据第一热力图的第一区域，确定瞳孔点在第一图像中的位置。确定图像中的第二区域具体包括：确定第一图像中的第二区域，和，确定第二图像中的第二区域。瞳孔点的深度值由图像中的第二区域的像素深度值确定，具体包括：瞳孔点的深度值由第一图像中的第二区域的像素的深度值确定，第一图像中的第二区域的像素的深度值由第一图像中的第二区域的图像和第二图像中的第二区域的图像对应的视差确定。

对于使用双目摄像头的情况下，使用热力图的方式可实现一举两得，一方面能够精确预测瞳孔点坐标，另一方面能够为作为双目深度估计的指引，仅仅搜索匹配热力图的位置区域，即第二区域，大大降低计算量。此外，还能在一定程度上缓解瞳孔区域纹理特征不明显，图像相似匹配困难的缺陷，实现了降低估计难度，算力需求小，提高估计精度。应用于车辆时，采用的两个摄像头可以为车辆两A柱上安装的两摄像头，也可以是在驾驶室前方，朝向车内的双目摄像头。其中，双目摄像头可以是集成于一个图像采集装置上的两个摄像头，也可以是由独立的两个摄像头安装于固定位置而形成。

作为第一方面的一种可能的实现方式，还包括：对第一图像、第二图像进行图像校正，图像校正包括至少以下之一：图像去畸变，图像位置调整，图像裁剪。

这里的图像校正包括图像去畸变，位置调整和裁剪等，得到左右对应极线平行的双目图像，以降低后续图像视差计算的难度。

作为第一方面的一种可能的实现方式，获取图像对应的热力图包括：从图像中获取人眼图像。根据人眼图像获取热力图。

通过该方式，实现可以仅针对人眼图像部分去生成瞳孔热力图，即对图像先进行剪裁处理，可减小热力图生成的数据处理量。

本申请第二方面提供了一种瞳孔位置的确定装置，包括：获取模块，用于获取包括瞳孔的图像。处理模块，用于获取图像对应的热力图，热力图用于表示瞳孔点在图像中的概率分布，瞳孔点为瞳孔的中心点。处理模块还用于根据热力图的第一区域，确定瞳孔点在图像中的位置，其中，热力图的第一区域中的像素对应的概率值大于第一阈值。处理模块还用于确定图像中的第二区域，其中，第二区域在热力图中的像素对应的概率值大于第二阈值，第二阈值小于或等于第一阈值。处理模块还用于根据瞳孔点的二维位置、瞳孔点的深度值确定瞳孔点的三维位置，瞳孔点的二维位置指瞳孔点在图像中的位置，瞳孔点的深度值由图像中的第二区域的像素的深度值确定。

作为第二方面的一种可能的实现方式，处理模块用于根据热力图的第一区域，确定瞳孔点的在图像中的位置时，具体用于：根据热力图的第一区域的中心位置，确定瞳孔点的在图像中的位置。

作为第二方面的一种可能的实现方式，第一阈值为热力图中的概率值的次高值。

作为第二方面的一种可能的实现方式，瞳孔点的深度值由图像的第二区域的像素的深度值确定包括：根据图像中的第二区域的像素的深度值的均值确定瞳孔点的深度值。

作为第二方面的一种可能的实现方式，图像包括第一图像和第二图像，第一图像和第二图像为从不同视角拍摄的两张图像，热力图包括第一图像对应的第一热力图和第二图像对应的第二热力图。处理模块用于根据热力图的第一区域，确定瞳孔点在图像中的位置时，具体用于：根据第一热力图的第一区域，确定瞳孔点在第一图像中的位置。处理模块用于确定图像中的第二区域时，具体用于：确定第一图像中的第二区域，和，确定第二图像中的第二区域。瞳孔点的深度值由图像中的第二区域的像素深度值确定，包括：瞳孔点的深度值由第一图像中的第二区域的像素的深度值确定，第一图像中的第二区域的像素的深度值由第一图像中的第二区域的图像和第二图像中的第二区域的图像对应的视差确定。

作为第二方面的一种可能的实现方式，处理模块还用于：对第一图像、第二图像进行图像校正，图像校正包括至少以下之一：图像去畸变，图像位置调整，图像裁剪。

作为第二方面的一种可能的实现方式，处理模块用于获取图像对应的热力图时，具体用于：从图像中获取人眼图像。根据人眼图像获取热力图。

本申请第三方面提供了一种电子装置，包括：处理器，以及存储器，存储器上存储有程序指令，程序指令当被处理器执行时使得处理器执行上述第一方面任一项的瞳孔位置的确定方法。

本申请第四方面提供了一种电子装置，包括：处理器，以及接口电路，其中，处理器通过接口电路访问存储器，存储器存储有程序指令，程序指令当被处理器执行时使得处理器执行上述第一方面任一项的瞳孔位置的确定方法。

本申请第五方面提供了一种确定瞳孔位置的系统，其包括图像采集装置，以及与图像采集装置耦合的上述第三方面或第四方面提供的电子装置。

作为第五方面的一种可能的实现方式，该系统可以是车载装置，也可以是车辆。图像采集装置可以是安装于车辆内的双目摄像头，其中，双目摄像头可以由两个独立的摄像头配合实现，也可以由集成有双摄像头的一个摄像装置实现。图像采集装置也可以是具有采集深度信息和图像信息的单目摄像头。

本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令当被计算机执行时使得计算机执行上述第一方面任一项的瞳孔位置的确定方法。

本申请第七方面提供了一种计算机程序产品，其包括有程序指令，程序指令当被计算机执行时使得计算机执行上述第一方面任一项的瞳孔位置的确定方法。

综上，本申请上述瞳孔位置的确定方案，通过采用表示瞳孔点概率的热力图的第一区域来确定瞳孔点二维位置，并基于热力图的第二区域确定瞳孔点的深度信息，进而可以确定瞳孔点的三维位置。由于采用了上述热力图的方式，相比常规的采用图像直接获取瞳孔点位置，在虹膜和瞳孔部位纹理特征不明显的情况下能够确定出较为准确的瞳孔点的位置，从而，本申请各可能的实现方式对遮挡、光照、眼球大姿态等对虹膜瞳孔纹理有影响的场景具有较好的鲁棒性，瞳孔位置定位较为准确。另一方面，通过使用包括第一区域的第二区域的平均深度值计算瞳孔点深度值，也解决了双目估计瞳孔位置的深度不够准确的问题，并且基于均值计算具有较好的鲁棒性。另一方面，通过使用双目摄像头来采集两张图像时，基于热力图的第二区域计算深度值，不需对整张图的深度进行计算，从而降低了运算量，提高了计算速度。

附图说明

图1a为本申请实施例提供的瞳孔位置的确定方法的一种应用场景的架构示意图；

图1b为本申请实施例提供的瞳孔位置的确定方法的一种应用场景的第一示意图；

图1c为本申请实施例提供的瞳孔位置的确定方法的一种应用场景的第二示意图；

图2为本申请实施例提供的瞳孔位置的确定方法的流程示意图；

图3为本申请实施例提供的瞳孔位置的确定方法的具体实施方式的流程示意图；

图4为本申请具体实施方式中的人眼瞳孔的热力图的示意图；

图5为本申请实施例提供的瞳孔位置的确定装置的示意图；

图6为本申请实施例提供的电子装置的示意图；

图7为本申请实施例提供的另一电子装置的示意图；

图8为本申请实施例提供的瞳孔位置的确定系统的示意图。

应理解，上述结构示意图中，各框图的尺寸和形态仅供参考，不应构成对本申请实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系，仅为示意性地表示各框图间的结构关联，而非限制本申请实施例的物理连接方式。

具体实施方式

下面结合附图并举实施例，对本申请提供的技术方案作进一步说明。应理解，本申请实施例中提供的系统结构和业务场景主要是为了说明本申请的技术方案的可能的实施方式，不应被解读为对本申请的技术方案的唯一限定。本领域普通技术人员可知，随着系统结构的演进和新业务场景的出现，本申请提供的技术方案对类似技术问题同样适用。

应理解，本申请实施例提供的瞳孔位置的确定方案，包括瞳孔位置的确定方法及装置、系统、计算机可读存储介质及计算机程序产品。由于这些技术方案解决问题的原理相同或相似，在如下具体实施例的介绍中，某些重复之处可能不再赘述，但应视为这些具体实施例之间已有相互引用，可以相互结合。

在根据2D图像确定瞳孔点位置时，可以采用的方式是：首先获得2D图像中的瞳孔点2D坐标，然后通过传统的双目估计来获得整张图的深度信息，再根据瞳孔点2D坐标得到该坐标对应的计算出的深度信息，最后通过摄像头成像算法进一步获得摄像头坐标系下瞳孔点的3D坐标。这种技术由于受摄像头成像质量、光照、大角度转动眼球、眯眼等因素的影响，图像虹膜部位的特征可能不够明显，传统图像处理算法对这些场景的鲁棒性不强(容易误检测)，瞳孔点的2D坐标的检测在此类情况下很容易失效。使用双目求解图像深度信息时，由于人眼虹膜和瞳孔没有明显界线，并且多数情况属于一团黑色，这样的话瞳孔部位的纹理特征不明显，双目匹配算法很难精确计算出瞳孔部位的深度信息。并且，求解深度信息时，往往是直接使用双目求解出整张图像的深度信息，存在计算冗余、计算速度、慢效率低等问题。

其中，关于瞳孔点的2D坐标的检测时，可以采用基于深度学习的方法进行2D瞳孔点的定位，例如，先进行人脸检测、然后进行人眼区域检测、最后进行人眼瞳孔特征检测。人眼瞳孔检测部分，首先使用沙漏网络来提取人眼瞳孔特征，然后进一步定位出虹膜的四个边缘点，再通过这四个点，来拟合出一个圆，最后通过这个圆获得圆心坐标作为瞳孔点坐标。但是，在遮挡、光照、眼球大姿态等情形下，虹膜边缘四个点很难检测准确，虽然采用四点拟合圆的方式，但个别点差异大的情况下，拟合效果差，导致瞳孔的2D坐标定位会不够准确。

本申请实施例提供了一种改进的瞳孔位置的确定方案，首先通过深度神经网络预测出人眼瞳孔点的热力图，再根据热力图的指引在热力图范围内进行深度信息的搜索匹配，求解到瞳孔区域的深度信息，然后以瞳孔区域的平均深度信息作为瞳孔点的深度信息，通过瞳孔点热力图求解出瞳孔点的2D坐标，最后通过小孔成像原理求解出瞳孔点在摄像头坐标系下的3D坐标。本申请的技术方案，在受到遮挡、光照、眼球大姿态等情况下，2D瞳孔位置定位仍能较为准确，因此鲁棒性更佳，并且解决了虹膜和瞳孔部位纹理特征不明显的影响，通过双目估计瞳孔位置的深度不够准确的问题，同时解决了双目匹配过程中的整张图的搜索匹配存在的效率低速度慢的问题。

本申请实施例提供的瞳孔位置的确定方案应用到视线追踪、眼动识别、虹膜检测、人机交互等应用领域。例如，基于视线追踪或眼动识别可应用于车辆的智能座舱时，可以用来确定驾驶员瞳孔位置从而预测坐高，以自动调整座椅，使得座椅处于最舒适的高度，也可以用于根据瞳孔3D位置监测驾驶员是否分神。还可以应用于监控视频会议中的参会者是否分心领域、或监控屏幕前的上网课学生是否处于认真听讲领域、或判断用户关注度领域、以及对特定用户的视线追踪或眼动识别所获得的大数据的对心理学的研究提供支持等。

下面参见图1a、图1b和图1c，以本申请实施例提供的瞳孔位置的确定方案应用于车辆的场景进行介绍，其中，应用于车辆10时，瞳孔位置的确定装置的一实施例可以包括图像采集装置11和处理器12。

其中，图像采集装置11用于获取包括瞳孔的用户的图像，本实施例中，图像采集装置11为摄像头，其中摄像头可以是双目摄像头、可采集三原色图像和深度(RedGreenBlue-Deep，RGB-D)的摄像头等，摄像头可以按照需求安装到车辆上。本实施例中，具体可以如图1b和图1c所示，采用了由两独立的摄像头构成的双目摄像头，这两个摄像头为设置在车辆座舱的左右A柱上的第一摄像头111和第二摄像头112。在其他例子中，也可以安装在车辆座舱内的后视镜的朝向用户的一侧，还可以安装在方向盘、中控台附近区域，还可以安装在座椅后方显示屏上方等位置，主要用于对车辆座舱的驾驶员或乘客的脸部图像进行采集。

在其他一些实施例中，图像采集装置11也可以是接收摄像头传输的用户图像数据的电子设备，如数据传输芯片，数据传输芯片例如总线数据收发芯片、网络接口芯片等，数据传输芯片也可以是无线传输芯片，如蓝牙芯片或WIFI芯片等。在另一些实施例中，图像采集装置11也可以集成于处理器中，成为集成到处理器中的接口电路或数据传输模块等。

其中，处理器12用于根据所述图像生成表示瞳孔点分布概率的热力图，并根据热力图的第一区域确定所述瞳孔点在所述图像中的位置，还用于确定所述图像中的第二区域，以及用于根据所述瞳孔点的二维位置、所述瞳孔点的深度值确定所述瞳孔点的三维位置，所述瞳孔点的二维位置指所述瞳孔点在所述图像中的位置，所述瞳孔点的深度值由所述图像中的第二区域的像素的深度值确定。处理器12可以为电子设备，具体可以为车机或车载电脑等车载处理装置的处理器，也可以为中央处理器(central processing unit，CPU)、微处理器(micro control unit，MCU)等常规的芯片处理器，还可以为手机、平板等终端硬件。

通过上述的结构，可以基于上述热力图获得瞳孔点的三维位置，进而进一步应用到视线追踪、眼动识别、虹膜检测、人机交互等应用领域。由于不直接依据图像本身，故基本不受到虹膜和瞳孔部位纹理特征不明显的影响，并且也可解决通过双目估计瞳孔位置的深度不够准确的问题。

基于图1a-图1c示出的应用场景，图2示出了本申请实施例提供的瞳孔位置的确定方法流程图，该实施例的方法可以由瞳孔位置的确定装置或该装置中的部分器件来执行，例如可由车、车载装置、或处理器等来执行。下面以处理器为例，对本申请实施例提供的瞳孔位置的确定方法进行介绍，包括以下步骤：

S10：车辆上的处理器通过接口电路获取通过图像采集装置采集的包括瞳孔的图像。

在一些实施例中，图像采集装置可以是双目摄像头，双目摄像头可以由两个独立的摄像头配合实现，也可以由集成有双摄像头的一个摄像装置实现。例如，当应用于图1a-图1c示出的车辆的应用场景时，图像采集装置可以为车辆两A柱上安装的两个摄像头构成的双目摄像头，也可以是在驾驶室前方，朝向车内的双目摄像头，或由集成有双摄像头的可进行拍照的智能设备(如手机、平板电脑等)的摄像头。通过两个摄像头可以采集到具有视差的两幅图像。

在另一些实施例中，摄像头可以为RGB-D摄像头，RGB-D摄像头可以是单目深度摄像头，所采集的图像除了RGB三原色的图像外，还会采集到对应所述RGB图像的各像素的深度信息。

本实施例中，所采集的图像可以是驾驶员的图像，也可以是乘客的图像。其中，图像中需要包括瞳孔，以便于后续对该图像中的瞳孔点进行识别。应理解的是，当摄像头采集到的图像不包括瞳孔，或者不包括完整的瞳孔，可以通过图像识别模型识别并筛除上述图片，该图像识别模型可以用于从采集的图像中识别出人眼图像的识别模型，图像识别模型可以通过深度神经网络实现，该深度神经网络可以是沙漏网络(hourglass)、HRNet、U-Net、FCN、Deeplab提供的分割网络、EspNet网络等等。当图像识别模型识别的人眼图像的置信度低于一设定的阈值时，即表示无法识别出图像中的人眼，此时可筛除该图片。

另外，在摄像头所采集到的图像质量较差，例如由于驾驶员或乘客头部移动导致的图像模糊，或光线不足导致的图像模糊等情况下，导致该图像无法处理时，也可以筛除图像质量差的图像，保留质量好的图像。

另外，还可以通过对图像进行降噪处理，例如去除随机的、离散的、孤立的像素点，以达到图像后续处理的需求。

在另外一些实施例中，获取包括瞳孔的图像的方式，也可以是通过数据传输的方式接收包括瞳孔的图像，实现该数据传输的方式可以是通过独立的通信接口，或是集成于处理器中的通信接口等方式实现。例如，独立的通信接口可以是有线传输的接口芯片，如串行数据总线接口芯片，并行数据总线接口芯片、网线接口芯片等，也可以是无线传输芯片，如蓝牙芯片或WIFI芯片。当通信接口集成于处理器中时，可以是集成到处理器内的接口电路，或集成到处理器内的无线传输模块等。

S20：车辆上的处理器获取包含瞳孔的所述图像对应的热力图，所述热力图用于表示瞳孔点在所述图像中的概率分布，所述瞳孔点为所述瞳孔的中心点。

其中，本申请实施例中热力图表示的是瞳孔点的概率分布，其中，热力图中可以使用亮度表示概率值的高低，图中越高亮的位置，表示该位置为瞳孔点的概率越高。由于热力图表示的是瞳孔点的概率分布，因此用于识别瞳孔点时，回归热力图相比直接回归瞳孔点坐标更加容易，对不同的场景也更加鲁棒。

其中，可以利用深度神经网络，根据所述图像生成所述热力图，深度神经网络可例如沙漏网络(hourglass)、高分辨率网络(High-Resoultion Net，HRNet)、U形网络(U-Net)、FCN、Deeplab提供的分割网络、EspNet网络(一种轻量级卷积神经网络)等对图像数据进行处理功能的网络。本例中，可以采用分割网络来生成图像对应的热力图。这里需要说明的是，本申请实施例中提到的各深度神经网络均指经过训练后的网络，后文不再重复赘述，其中，深度神经网络网络在训练时，可将具有瞳孔点的热力图标签数据的人眼图像作为样本，损失函数可采用均方误差(mean square error，MSE)损失函数或其他损失函数进行训练，训练后的网络具有根据图像生成瞳孔的热力图的功能。

S30：车辆上的处理器根据所述热力图的第一区域，确定所述瞳孔点在所述图像中的位置，其中，所述热力图的第一区域中的像素对应的概率值大于第一阈值。

在一些实施例中，确定所述瞳孔点的在所述图像中的位置时，可以根据所述热力图的第一区域的中心位置，确定所述瞳孔点的在所述图像中的位置。

在一些实施例中，可以对所述人眼区域的热力图采用argmax函数求解出概率值最高的点和次高点在人眼区域的图像中的位置。当所述第一阈值为所述热力图中的概率值的次高值时，第一区域为概率值最高和次高的点构成的区域。计算瞳孔点的位置时，可以采用计算的所述区域内所述最高的点和次高的点位置的均值作为所预测的瞳孔点位置，例如预测的瞳孔点的位置可为：(∑Pai+∑Pbj)/(I+J)，其中Pai表示各个最高点Pa的位置，Pbj表示各个次高点Pb的位置，I表示Pa点的数量，J表示Pb点的数量，i∈I，j∈J。一般情况下I值比较小，甚至值为1(表示最高点Pa仅一个)，对此后文不再赘述。

不难理解，在一些实施例中，也可以选择更大或更小的第一阈值，以使第一区域中的点更少或更多。例如选择更小的第一阈值，将低于次高点的第二次高点也作为计算。

另外，在一些实施例中，当通过所述均值的方式计算瞳孔点位置时，还可以根据概率值进行加权，概率值越高权值越大，例如预测的瞳孔点的位置可为：(e1∑Pai+e2∑Pbj+e3∑Pck)/(e1*I+e2*J+e3*K)，其中Pai表示各个最高点Pa的位置，Pbj表示各个次高点Pb的位置，Pck表示各第二次高点Pc的位置，I表示Pa点的数量，J表示Pb点的数量，K表示各Pc点的数量，i∈I，j∈J，k∈K，e1、e2、e3为权值，且e1>e2>e3。

在另一些实施例中，还可以根据点所在位置进行加权，例如计算位置均值时，获得各个次高点位置，根据该次高点距离最高的点的距离进行加权，越远权值越低。

这里说明的是，使用均值计算瞳孔点的原因，是基于热力图反映的是各像素的区域(例如概率值最高的点对应的是多个像素的集合)，而非针对单一的像素，以及argmax所求解的也涉及点的集合(例如概率值最高点的集合、次高点的集合)，因此使用所述均值来求解瞳孔点的位置，另外，采用均值的方式计算，可以具有更好的鲁棒性。

S40：车辆上的处理器确定所述图像中的第二区域，其中，所述第二区域在热力图中的像素对应的概率值大于第二阈值，所述第二阈值小于或等于所述第一阈值。

其中，确定出图像的第二区域，用于后述步骤的深度值的计算。这样，仅采用局部的第二区域进行深度的值的计算，相对于计算整个图像来说，降低了计算量。

S50：车辆上的处理器根据所述瞳孔点的二维位置、所述瞳孔点的深度值确定所述瞳孔点的三维位置，所述瞳孔点的二维位置指所述瞳孔点在所述图像中的位置，所述瞳孔点的深度值由所述图像中的第二区域的像素的深度值确定。

其中，本步骤利用摄像头的内参信息，通过小孔成像原理，即可根据所述瞳孔点的二维位置、深度值求解出瞳孔点在摄像头坐标系下的三维位置(即3D坐标)。

在一些实施例中，将所述图像的第二区域的各像素深度值的均值作为瞳孔点的深度值。通过热力图的第二区域内的各像素的深度均值作为瞳孔点深度值，可以具有更好的鲁棒性。

在一些实施例中，所述摄像头为RGB-D摄像头，例如RGB-D摄像头为单目深度摄像头，此时会采集到对应所述图像的各像素的深度信息，因此，在上述步骤S40确定第二区域后，直接利用该区域的各像素的深度值求均值，获得瞳孔点深度值。

在一些实施例中，当采用两个摄像头采集的两图像为具有视差的图像时，可以基于视差计算出所述深度。具体的，通过两个摄像头从不同视角拍摄的两张图像，分别为第一图像和第二图像，对应的，所述热力图包括所述第一图像对应的第一热力图和所述第二图像对应的第二热力图；

一方面，根据所述第一热力图的第一区域，确定所述瞳孔点在所述第一图像中的位置；

另一方面，确定所述第一图像中的第二区域，和，确定所述第二图像中的第二区域；由所述第一图像中的第二区域的图像和所述第二图像中的第二区域的图像对应的视差可确定出所述第一图像中的所述第二区域的像素的深度值

然后，所述瞳孔点的深度值由所述第一图像中的第二区域的像素的深度值进行确定。

其中，根据两张图像的视差与深度关系，即根据下述公式(1)可求得对于所拍摄的空间中的物体的某点三维坐标为P(x,y,z)的深度Z：

Z＝fT_x/d (1)

其中，d用于表示视差，d＝(X_L-X_R)，X_L和X_R用于表示该物体在两个不同位置的相机的像平面的成像坐标，f用于表示相机焦距，T_x用于表示基线(两相机光轴之间的距离)。

对于使用双目摄像头的情况下，使用热力图作为双目深度估计的指引，仅仅搜索匹配热力图的位置区域，即第二区域，大大降低计算量；此外，还能在一定程度上缓解瞳孔区域纹理特征不明显，图像相似匹配困难的缺陷。

另外，采用两个摄像头时，还可包括：对采集的所述第一图像、第二图像进行图像校正，包括下列操作中的一个或多个：图像去畸变，图像位置调整，图像裁剪等图像处理操作。通过图像校正，以获得左右对应极线平行的双目图像。另一些实施例中，当采用一个摄像头时，也包括上述图像校正步骤。

在一些实施例中，步骤S10中所述针对所述图像生成所述瞳孔的热力图包括：从包括人脸瞳孔的图像中提取人脸图像；从所述人脸图像中识别人眼图像；根据所述人眼图像生成所述瞳孔的热力图。通过该方式，集中人眼图像去生成瞳孔热力图，即对图像先进行剪裁处理，可减小热力图生成的数据处理量。

其中，在提取人脸图像、或识别人眼图像时，可以分别采用深度神经网络实现，也可以使用一个深度神经网络直接从采集的图像中识别出人眼图像。所使用的深度神经网络例如沙漏网络(hourglass)、HRNet、U-Net、FCN、Deeplab提供的分割网络、EspNet网络等等。

下面，对本申请实施例提供的瞳孔位置的确定方法的第一具体实施方式进行介绍。本具体实施方式仍以应用于车内场景为例进行说明，在该车内场景中，车辆A柱上安置两个型号相同的摄像头，并且安装时尽量水平平行安装，使得两个摄像头采集的两个图像的水平极线尽可能平行。

这两个摄像头可同时为RGB摄像头，也可以同时为IR摄像头，本具体实施方式中为两个红外摄像头，并对两个摄像头做拍照同步处理，以使得两个摄像头可同步采集驾驶员的图像，避免因为时间误差造成图像匹配误差。这两个摄像头可以用于执行本具体实施方式中的下述步骤S210。

对所采集的图像的处理过程(即根据采集的图像进行瞳孔3D坐标的估计过程)，例如下述步骤S215-S265的执行过程，可以由车、车载装置、或处理装置(如处理器、处理芯片等)执行。例如，可以由车辆的电子控制单元(Electronic Control Unit，ECU)执行。另一些具体实施方式中，也可以通过与ECU通讯的智能设备(如手机、PAD等)或云端服务器执行，该情况下，可由ECU将摄像头采集的图像数据传输给智能设备或云端服务器。另一些具体实施方式中，还可以由ECU与所述智能设备或与云端服务器配合完成，该情况下，可由ECU执行部分步骤，可由智能设备或云端服务器执行部分步骤，例如下述步骤S225-S235涉及使用深度神经网络，可以由算力较高的智能设备或云端服务器执行，下述步骤S215-S220和步骤S240-S265以由ECU执行举例，不难理解，步骤的分配并不限于上述方式。

下面参照图3示出的流程图，本申请实施例提供的瞳孔位置的确定方法的第一具体实施方式包括以下步骤：

S210：两个摄像头进行同步拍照，获得左右不同视角的左右两张图像，即图像对。

S215-S220：对获得的图像对中的左右两张图像进行图像校正。

由于两摄像头的光轴之间无法保证严格平行，受摆放位置、角度等因素的影响，存在一定的偏差，因此需对获得的图像进行图像校正。图像校正是利用预先标定的两摄像头的内参、两摄像头之间的外参对采集得到的左右图像对进行校正，包括图像去畸变，位置调整和裁剪等，得到左右对应水平极线平行的双目图像。其中内参包括左右摄像头的主点，左右摄像头的畸变向量，外参数包括摄像头之间的旋转矩阵和平移矩阵。内参和外参在摄像头标定时确定。其中的旋转矩阵和平移矩阵也可以称为单应矩阵(Homography)

S225：在获得图像校正后的左右图像后，分别对两图像进行人脸检测和提取，若检测到人脸则提取人脸图像，并执行下一步；否则结束本次流程，并可返回步骤S210，执行下一次的流程。

其中可通过深度神经网络实现人脸检测和人脸图像的提取，例如使用卷积神经网络(CNN)、区域选取网络/提取候选框网络(Region Proposal Network，RPN)、全卷积网络(Fully Convolutional Networks，FCN)、CNN区域提前网络(Regions with CNN features，RCNN)等实现人脸的检测和提取。

S230：针对提取的人脸图像，采用人眼检测算法进行人眼的检测，若能够检测到人眼，则继续执行下一步；否则结束本次流程，并可返回步骤S210，执行下一次的流程。

人眼检测算法可以根据人眼的几何特征，灰度特征等通过图像算法来检测，或者通过深度神经网络实现人眼检测，例如深度神经网络为CNN网络、RPN网络、FCN网络等等。

S235：在检测到人眼的情况下，使用分割网络，对人眼区域进行人眼瞳孔点的热力图(heatmap)预测，获得人眼瞳孔热力图。如图4示出了该热力图的示意图。

由于眼睛部位的图像比较小，数据量少，因此利用分割网络可以高效的完成热力图的预测。而热力图表示的是瞳孔点的概率分布，因此对遮挡、光照、眼球大姿态等情况会更加鲁棒，这样能够在一定程度上解决2D瞳孔位置定位效果不够鲁棒导致的识别不够准确的问题。

S240：获得人眼区域的针对瞳孔点的热力图后，一方面，针对其中的一张人脸图像(该人脸图像指在步骤S220校正后的图像)，对所述人眼区域的热力图采用argmax函数求解出概率值，将概率值次高点对应的值作为第一阈值，确定出概率值最高的点和次高点在人眼区域的图像中的位置，然后采用所述位置的均值作为所预测的瞳孔点位置。

S245：根据瞳孔点的位置，反推出瞳孔在原图中的原始的2D坐标。

即根据原图与所提取的人脸区域的位置的对应关系、人脸区域中识别的人眼区域的对应关系，反推出瞳孔点在原图中的2D坐标。

S250：另一方面，分别针对两张人眼区域热力图，以第二阈值对热力图进行二值化，例如第二阈值可以为热力图中概率值的次高点对应的值，通过所述二值化可以分别获得左右两张热力图的区域A和区域A’。其中该区域A和区域A’对应瞳孔点及周围的区域。

S255：由所述左右两张热力图的区域A和区域A’，分别反推出在人脸图像(该人脸图像指在步骤S220校正后的图像)中的区域。然后，对左右两张人脸图像(该人脸图像指在步骤S220校正后的图像)中的区域A和区域A’内的图像，通过立体图像的视差匹配算法求出视差。

S260：根据所述视差、摄像头的内参信息求出所述区域A(也即区域A’)内各个像素的深度信息，对所述区域内的各深度信息取均值，作为瞳孔点的深度。

由上步骤S250-S260可以看出，本申请的具体实施方式由于使用热力图，可以直接获得瞳孔的大致区域，仅针对热力图确定的瞳孔大致区域A和区域A’内的图像求解视差，即可获得瞳孔区域的深度信息，也就是说，将对整张图像的相似搜索匹配简化为瞳孔区域的相似搜索匹配，这在一方面极大地降低了计算量，另一方面也在一定程度上缓解了虹膜和瞳孔部位纹理特征不够明显的影响，为搜索匹配这个区域提供了指引。

S265：将步骤S245获得的瞳孔的2D坐标、步骤S260获得的瞳孔的深度信息，利用摄像头的内参信息，通过小孔成像原理求解出瞳孔在摄像头坐标系下的3D位置。

如图5所示，本申请实施例还提供了相应的一种瞳孔位置的确定装置，关于该装置的有益效果或解决的技术问题，可以参见与各装置分别对应的方法中的描述，或者参见发明内容中的描述，此处仅进行简述。该实施例中的瞳孔位置的确定装置，可以用于实现上述的瞳孔位置的确定方法中的各可选实施例。

如图5所示，该瞳孔位置的确定装置100可以用于执行上述瞳孔外置的确定方法，该瞳孔位置的确定装置100具有获取模块110、处理模块120。其中：

获取模块110用于获取包括瞳孔的图像。具体的，获取模块110可以用于执行上述瞳孔位置的确定方法中的步骤S10以及其中的示例。

处理模块120用于获取所述图像对应的用于表示瞳孔点在所述图像中的概率分布的热力图，还用于根据所述热力图的上述第一区域，确定所述瞳孔点在所述图像中的位置，还用于确定所述图像中的上述第二区域，还用于根据所述瞳孔点在所述图像中的二维位置、由所述图像中的第二区域的像素的深度值确定的瞳孔点的深度值，来确定所述瞳孔点的三维位置。具体的，处理模块120可以用于执行上述瞳孔位置的确定方法中的步骤S20-S50中的任一步骤以及其中任一可选的示例。具体可参见方法实施例中的详细描述，此处不做赘述。

在一些实施例中，所述处理模块120在用于所述根据所述热力图的第一区域，确定所述瞳孔点的在所述图像中的位置时，具体用于：根据所述热力图的第一区域的中心位置，确定所述瞳孔点的在所述图像中的位置。具体的，这种情况下，处理模块120具体用于执行上述瞳孔位置的确定方法中的步骤S30中的任一步骤以及其中任一可选的示例。在其他一些实施例中，可以采用通过均值的方式计算瞳孔点位置，还可以根据概率值进行加权，或者根据点所在位置进行加权。

在一些实施例中，所述第一阈值为所述热力图中的概率值的次高值。在其他一些实施例中，也可以选择更大或更小的第一阈值，以使第一区域中的点更少或更多。

在一些实施例中，所述瞳孔点的深度值由所述图像的第二区域的像素的深度值确定包括：根据所述图像中的第二区域的像素的深度值的均值确定所述瞳孔点的深度值。

在一些实施例中，获取的包括瞳孔的图像包括第一图像和第二图像，并且，第一图像和第二图像为从不同视角拍摄的两张图像。对应的，热力图包括第一图像对应的第一热力图和第二图像对应的第二热力图；在这种情况下，当处理模块用于所述根据所述热力图的第一区域，确定所述瞳孔点在所述图像中的位置时，具体用于：根据第一热力图的第一区域，确定瞳孔点在第一图像中的位置；处理模块用于确定所述图像中的第二区域时，具体用于：确定第一图像中的第二区域，和，确定第二图像中的第二区域；这种情况下，瞳孔点的深度值由所述图像中的第二区域的像素深度值确定，具体包括：所述瞳孔点的深度值由第一图像中的第二区域的像素的深度值确定，第一图像中的第二区域的像素的深度值由第一图像中的第二区域的图像和第二图像中的第二区域的图像对应的视差确定。

在一些实施例中，所述处理模块还用于：对第一图像、第二图像进行图像校正，其中，图像校正包括至少以下之一：图像去畸变，图像位置调整，图像裁剪。

在一些实施例中，所述处理模块用于获取所述图像对应的热力图时，具体用于：从所述图像中获取人眼图像；根据所述人眼图像获取所述热力图。

应理解的是，本申请实施例中的瞳孔位置的确定装置100可以由软件实现，例如可以由具有上述功能计算机程序或指令来实现，相应计算机程序或指令可以存储在终端内部的存储器中，通过处理器读取该存储器内部的相应计算机程序或指令来实现上述功能。或者，本申请实施例的瞳孔位置的确定装置100还可以由硬件来实现，例如，确定装置100的获取模块110可以由车辆上的摄像头实现，或者，获取模块110也可以由处理器与车辆上的摄像头之间的接口电路来实现。确定装置100的处理模块120可以由车辆上的处理装置实现，例如车机或车载电脑等车载处理装置的处理器实现，又或者处理模块120还可以由手机或平板等终端实现。或者，本申请实施例中的瞳孔位置的确定装置100还可以由处理器和软件模块的结合实现。

应理解，本申请实施例中的装置或模块的处理细节可以参考图1a-图3所示的实施例及相关扩展实施例的相关表述，本申请实施例将不再重复赘述。

另外，本申请实施例还提供了具有上述瞳孔位置的确定装置的车辆，该车辆可以是家用轿车或载货汽车等，还可以是特种车辆，例如救护车、消防车、警车或工程抢险车等。其中，上述瞳孔位置的确定装置的各模块可以采用预装或后装的形式布置于车辆系统中，其中各模块之间可依赖于车辆的总线或接口电路进行数据交互，或者随着无线技术的发展，各模块之间还可以采用无线的通信方式进行数据交互，以消除布线带来的不便。

本申请实施例还提供了一种电子装置，包括：处理器，以及存储器，其上存储有程序指令，程序指令当被处理器执行时使得处理器执行图2对应的实施例的方法，或其中的各可选实施例，或图3对应的具体实施方式的方法中，或其中的各可选实施例。图6是本申请实施例提供的一种电子装置600的结构性示意性图。该电子装置600包括：处理器610、存储器620。

应理解，图6中所示的电子装置600中还可包括通信接口630，可以用于与其他设备之间进行通信。

其中，该处理器610可以与存储器620连接。该存储器620可以用于存储该程序代码和数据。因此，该存储器620可以是处理器610内部的存储单元，也可以是与处理器610独立的外部存储单元，还可以是包括处理器610内部的存储单元和与处理器610独立的外部存储单元的部件。

可选的，电子装置600还可以包括总线。其中，存储器620、通信接口630可以通过总线与处理器610连接。总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。

应理解，在本申请实施例中，该处理器610可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(Application specific integrated circuit，ASIC)、现成可编程门矩阵(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器610采用一个或多个集成电路，用于执行相关程序，以实现本申请实施例所提供的技术方案。

该存储器620可以包括只读存储器和随机存取存储器，并向处理器610提供指令和数据。处理器610的一部分还可以包括非易失性随机存取存储器。例如，处理器610还可以存储设备类型的信息。

在电子装置600运行时，所述处理器610执行所述存储器620中的计算机执行指令执行上述瞳孔位置的确定方法的操作步骤，例如执行图2对应的实施例的方法，或其中的各可选实施例，或图3对应的具体实施方式的方法，或其中的各可选实施例。

应理解，根据本申请实施例的电子装置600可以对应于执行根据本申请各实施例的方法中的相应主体，并且电子装置600中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。

本申请实施例还提供了另一种电子装置，如图7所示的该实施例提供的另一种电子装置700的结构性示意性图，包括：处理器710，以及接口电路720，其中，处理器710通过接口电路720访问存储器，存储器存储有程序指令，程序指令当被处理器执行时使得处理器执行图2对应的实施例的方法，或其中的各可选实施例，或图3对应的具体实施方式的方法，或其中的各可选实施例。另外，该电子装置还可包括通信接口、总线等，具体可参见图6所示的实施例中的介绍，不再赘述。

本申请实施例还提供了一种确定瞳孔位置的系统800，如图8所示，该确定瞳孔位置的系统800包括：图像采集装置810，以及与该图像采集装置810耦合的电子装置，该电子装置可以是如图6示出的电子装置600，也可以是如图7示出的电子装置700。图像采集装置810可以是RGB-D摄像头，也可以是双目摄像头，用于采集包括瞳孔的图像提供给电子装置，以使该电子装置执行图2对应的实施例的方法，或其中的各可选实施例，或图3对应的具体实施方式的方法中，或其中的各可选实施例。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述瞳孔位置的确定方法，该方法包括上述各个实施例所描述的方案中的至少之一。

本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

其中，说明书和权利要求书中的词语“第一、第二、第三等”或模块A、模块B、模块C等类似用语，仅用于区别类似的对象，不代表针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

在以上的描述中，所涉及的表示步骤的标号，如S110、S120……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。

说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。

本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。

注意，上述仅为本申请的较佳实施例及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施例，均属于本申请的保护范畴。

Claims (19)

1.一种瞳孔位置的确定方法，其特征在于，包括：

获取包括瞳孔的图像；

获取所述图像对应的热力图，其中，所述热力图用于表示瞳孔点在所述图像中的概率分布，所述瞳孔点为所述瞳孔的中心点；

根据所述热力图的第一区域，确定所述瞳孔点在所述图像中的位置，其中，所述热力图的第一区域中的像素对应的概率值大于第一阈值；

确定所述图像中的第二区域，其中，所述第二区域在热力图中的像素对应的概率值大于第二阈值，所述第二阈值小于或等于所述第一阈值；

根据所述瞳孔点的二维位置、所述瞳孔点的深度值确定所述瞳孔点的三维位置，其中，所述瞳孔点的二维位置指所述瞳孔点在所述图像中的位置，所述瞳孔点的深度值由所述图像中的第二区域的像素的深度值确定。

2.根据权利要求1所述的方法，其特征在于，所述根据所述热力图的第一区域，确定所述瞳孔点的在所述图像中的位置，包括：

根据所述热力图的第一区域的中心位置，确定所述瞳孔点的在所述图像中的位置。

3.根据权利要求1或2所述的方法，其特征在于，所述第一阈值为所述热力图中的概率值的次高值。

4.根据权利要求1所述的方法，其特征在于，所述瞳孔点的深度值由所述图像的第二区域的像素的深度值确定包括：根据所述图像中的第二区域的像素的深度值的均值确定所述瞳孔点的深度值。

5.根据权利要求1或4所述的方法，其特征在于，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为从不同视角拍摄的两张图像，所述热力图包括所述第一图像对应的第一热力图和所述第二图像对应的第二热力图；

所述根据所述热力图的第一区域，确定所述瞳孔点在所述图像中的位置，包括：根据所述第一热力图的第一区域，确定所述瞳孔点在所述第一图像中的位置；

所述确定所述图像中的第二区域包括：确定所述第一图像中的第二区域，和，确定所述第二图像中的第二区域；

所述瞳孔点的深度值由所述图像中的第二区域的像素深度值确定，包括：所述瞳孔点的深度值由所述第一图像中的第二区域的像素的深度值确定，所述第一图像中的所述第二区域的像素的深度值由所述第一图像中的第二区域的图像和所述第二图像中的第二区域的图像对应的视差确定。

6.根据权利要求5所述的方法，其特征在于，还包括：

对所述第一图像、第二图像进行图像校正，所述图像校正包括至少以下之一：

图像去畸变，图像位置调整，图像裁剪。

7.根据权利要求1所述的方法，其特征在于，所述获取所述图像对应的热力图包括：

从所述图像中获取人眼图像；

根据所述人眼图像获取所述热力图。

8.一种瞳孔位置的确定装置，其特征在于，包括：

获取模块，用于获取包括瞳孔的图像；

处理模块，用于获取所述图像对应的热力图，其中，所述热力图用于表示瞳孔点在所述图像中的概率分布，所述瞳孔点为所述瞳孔的中心点；

处理模块还用于根据所述热力图的第一区域，确定所述瞳孔点在所述图像中的位置，其中，所述热力图的第一区域中的像素对应的概率值大于第一阈值；

所述处理模块还用于确定所述图像中的第二区域，其中，所述第二区域在热力图中的像素对应的概率值大于第二阈值，所述第二阈值小于或等于所述第一阈值；

所述处理模块还用于根据所述瞳孔点的二维位置、所述瞳孔点的深度值确定所述瞳孔点的三维位置，其中，所述瞳孔点的二维位置指所述瞳孔点在所述图像中的位置，所述瞳孔点的深度值由所述图像中的第二区域的像素的深度值确定。

9.根据权利要求8所述的装置，其特征在于，所述处理模块用于所述根据所述热力图的第一区域，确定所述瞳孔点的在所述图像中的位置时，具体用于：

根据所述热力图的第一区域的中心位置，确定所述瞳孔点的在所述图像中的位置。

10.根据权利要求8或9所述的装置，其特征在于，所述第一阈值为所述热力图中的概率值的次高值。

11.根据权利要求8所述的装置，其特征在于，所述瞳孔点的深度值由所述图像的第二区域的像素的深度值确定包括：根据所述图像中的第二区域的像素的深度值的均值确定所述瞳孔点的深度值。

12.根据权利要求8或11所述的装置，其特征在于，所述图像包括第一图像和第二图像，所述第一图像和所述第二图像为从不同视角拍摄的两张图像，所述热力图包括所述第一图像对应的第一热力图和所述第二图像对应的第二热力图；

所述处理模块用于所述根据所述热力图的第一区域，确定所述瞳孔点在所述图像中的位置时，具体用于：根据所述第一热力图的第一区域，确定所述瞳孔点在所述第一图像中的位置；

所述处理模块用于所述确定所述图像中的第二区域时，具体用于：确定所述第一图像中的第二区域，和，确定所述第二图像中的第二区域；

所述瞳孔点的深度值由所述图像中的第二区域的像素深度值确定，包括：所述瞳孔点的深度值由所述第一图像中的第二区域的像素的深度值确定，所述第一图像中的所述第二区域的像素的深度值由所述第一图像中的第二区域的图像和所述第二图像中的第二区域的图像对应的视差确定。

13.根据权利要求12所述的装置，其特征在于，所述处理模块还用于：

对所述第一图像、第二图像进行图像校正，所述图像校正包括至少以下之一：

图像去畸变，图像位置调整，图像裁剪。

14.根据权利要求8所述的装置，其特征在于，所述处理模块用于获取所述图像对应的热力图时，具体用于：

从所述图像中获取人眼图像；

根据所述人眼图像获取所述热力图。

15.一种电子装置，其特征在于，包括：

处理器，以及

存储器，其上存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行权利要求1至7任一项所述的瞳孔位置的确定方法。

16.一种电子装置，其特征在于，包括：

处理器，以及接口电路，

其中，所述处理器通过所述接口电路访问存储器，所述存储器存储有程序指令，所述程序指令当被所述处理器执行时使得所述处理器执行权利要求1至7任一项所述的瞳孔位置的确定方法。

17.一种确定瞳孔位置的系统，其特征在于，包括：

图像采集装置，以及与所述图像采集装置耦合的权利要求15所述的电子装置，或与所述图像采集装置耦合的权利要求16所述的电子装置。

18.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行权利要求1至7任一项所述的瞳孔位置的确定方法。

19.一种计算机程序产品，其特征在于，其包括有程序指令，所述程序指令当被计算机执行时使得所述计算机执行权利要求1至7任一项所述的瞳孔位置的确定方法。

Images