CN108919958A - 一种图像传输方法、装置、终端设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像传输方法、装置、终端设备及存储介质。所述方法包括：获取用户注视目标图像时的眼部图像；基于眼部图像对应的视线确定用户的注视点；获取用户注视所述注视点的瞳孔半径；基于用户的注视点、所述瞳孔半径对应的关注度和目标图像中各像素点的像素值将目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；传输所述待传输数据。利用该方法能够有效的减少了传输的数据量，降低了传输时间，并根据用户的关注度为目标图像合理分配优先级，提高了用户关注区域图像的清晰度，提高了压缩效率。

Description

一种图像传输方法、装置、终端设备及存储介质

技术领域

本发明实施例涉及传输技术领域，尤其涉及一种图像传输方法、装置、终端设备及存储介质。

背景技术

显示设备是一种能够输出图像或感触信号(例如为盲人设计的盲文显示器)的设备，显示设备接收外部信号源(如计算机)的图像数据后，将对应的图像内容实时进行显示。在计算机向显示设备传输图像的过程中，通常直接将原始图像进行传输。因此，传输图像的过程中需要传输的图像数据量较大，传输图像的速度较慢。

目前，为解决图像传输过程中数量大的问题所提出的图像传输方法通常是将图像数据整体进行压缩，这就导致了显示设备显示的图像内容清晰度差，影响了用户观看图像的体验。

发明内容

本发明提供的一种图像传输方法、装置、终端设备及存储介质，能够有效提高图像压缩效率。

第一方面，本发明实施例提供了一种图像传输方法，包括：

获取用户注视目标图像时的眼部图像；

基于所述眼部图像对应的视线确定所述用户的注视点；

获取所述用户注视所述注视点的瞳孔半径；

基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；

传输所述待传输数据。

第二方面，本发明实施例还提供了一种图像传输装置，包括：

眼部图像获取模块，用于获取用户注视目标图像时的眼部图像；

注视点确定模块，用于基于所述眼部图像对应的视线确定用户的注视点；

瞳孔半径确定模块，用于获取所述用户注视所述注视点的瞳孔半径；

待传数据确定模块，用于基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；

传输模块，用于传输所述待传输数据。

第三方面，本发明实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的图像传输方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的图像传输方法。

本发明实施例提供了一种图像传输方法、装置、终端设备及存储介质，首先获取用户注视目标图像时的眼部图像；其次基于所述眼部图像对应的视线确定所述用户的注视点；然后获取所述用户注视所述注视点的瞳孔半径；之后基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；最后传输所述待传输数据。利用上述技术方案，能够在终端设备传输目标图像之前，通过用户注视目标图像时的眼部图像对应的视线所确定的注视点、用户注视该注视点时的瞳孔半径对应的关注度及目标图像中各像素点的像素值对目标图像进行划分，然后以不同的优先级进行传输(不同优先级可以对应不同的码率或不同的渲染精度)。相比于直接传输目标图像而言，有效的减少了传输的数据量，从而降低传输目标图像所需时间，提高了图像传输的效率；相比于将目标图像整体进行压缩而言，有效的提高了用户关注区域图像的清晰度，提高了目标图像压缩效果。

附图说明

图1a为本发明实施例一提供的一种图像传输方法的流程示意图；

图1b给出了本发明实施例一提供的眼部图像示意图；

图2a为本发明实施例二提供的一种图像传输方法的流程示意图；

图2b给出了本发明实施例二提供的图像传输方法的应用场景示意图；

图2c给出了本发明实施例二提供的对划分完的目标图像分配优先级后的示意图；

图3为本发明实施例三提供的一种图像传输装置的结构示意图；

图4为本发明实施例四提供的一种终端设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1a为本发明实施例一提供的一种图像传输方法的流程示意图，该方法可适用于不同图像传输设备间(如终端设备和显示设备间或不同终端设备间)对目标图像进行传输的情况。该方法可以由本发明实施例提供的图像传输装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。在本实施例中终端设备包括但不限于：计算机、手机或掌上电脑等设备。

如图1a所示，本发明实施例一提供的一种图像传输方法，包括如下步骤：

S101、获取用户注视目标图像时的眼部图像。

在本实施例中，图像传输方法可以应用在终端设备上。目标图像可以理解为终端设备中待处理的图像。

可以理解的是，本步骤中用户可以直接注视终端设备中的目标图像，然后基于用户注视目标图像时的眼部图像对目标图像进行处理，将处理后的数据发送至显示设备或其他终端设备。一般的，本步骤可以通过终端设备上设置的图像采集装置获取用户注视目标图像时的眼部图像。

此外，在获取用户注视目标图像时的眼部图像时，也可以使用户佩戴AR设备，在AR设备上设置有图像采集装置以采集用户注视目标图像时的眼部图像，本步骤则可以通过与AR设备建立的通信连接获取用户注视目标图像时的眼部图像；如果用户佩戴的是VR设备，终端设备可以内置于VR设备中，通过终端设备显示目标图像，通过图像采集装置获取用户注视目标图像时的眼部图像，其中图像采集装置可以设置在VR设备上。终端设备可以通过与VR设备建立的通信连接获取用户注视目标图像时的眼部图像。

具体的，本步骤可以通过终端设备上的图像采集装置获取用户注视目标图像时的眼部图像。其中，图像采集装置可以为普通摄像头，也可以为红外摄像头。当本实施例中的图像采集装置为红外摄像头时，该红外摄像头需要配置有红外灯，以用于制造眼图中的光斑，从而可以结合用户瞳孔特征确定用户的视线。

S102、基于所述眼部图像对应的视线确定所述用户的注视点。

在本实施例中，注视点可以理解为目标图像中用户注视的位置。在获取用户注视目标图像时的眼部图像后，本步骤可以通过眼部识别算法对眼部图像进行识别，以确定出眼部图像对应的视线，然后可以基于确定出的视线确定用户视线在目标图像中的坐标，以得到用户的注视点；或可以通过预先构建的注视点模型确定用户的注视点。

具体的，当本实施例采用普通摄像头获取用户注视目标图像时的眼部图像时，本步骤可以基于该眼部图像中的瞳孔特征确定用户的视线方向。当本实施例采用红外摄像头获取用户注视目标图像时的眼部图像时，本步骤可以获取该眼部图像中的瞳孔特征和红外灯在该眼部图像中所呈现的光斑信息，然后根据获取的瞳孔特征和光斑信息采用角膜反射法确定眼部图像中用户的视线方向。

在采用红外摄像头确定用户的视线方向时，主要的硬件要求包括但不限于：光源：一般为红外光源，因为红外光线不会影响眼睛的视觉；并且可以为多个红外光源，以预定的方式排列，例如品字形、一字形等；图像采集装置：例如红外摄像设备、红外图像传感器、照相机或摄像机等。

确定用户的视线方向的过程包括：

首先获取眼部图像：光源照向用户眼睛，由图像采集装置对用户眼部进行拍摄，相应拍摄光源在角膜上的反射点即光斑(也称为普尔钦斑)，由此获取带有光斑的眼部图像。然后进行视线/注视点估计：随着眼球转动时，瞳孔中心与光斑的相对位置关系随之发生变化，相应采集到的带有光斑的若干眼部图像反映出这样的位置变化关系；根据所述位置变化关系进行视线/注视点估计。

一般的，眼球追踪也可称为视线追踪，是通过测量用户眼睛的运动情况来估计眼睛的视线和/或注视点的技术。目前广泛应用的是光学记录法：用图像采集装置(如照相机或摄像机)记录被试者的眼睛运动情况，即获取反映眼睛运动的眼部图像，以及从获取到的眼部图像中提取眼部特征用于建立视线/注视点估计的模型。其中，眼部特征可以包括：瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置和/或光斑(也称为普尔钦斑)位置等。

可以理解的是，在获取用户的视线方向时，也可以结合接触/非接触式的传感器(例如电极、电容传感器)推算眼睛的运动。

图1b给出了本发明实施例一提供的眼部图像示意图，图1b示出了一只眼睛，其并非对眼睛只数的限定，本实施例中所获取的眼部图像中也可以包括两只眼睛以提高对目标图像处理的准确度。具体的，本实施例可以基于获取的该眼部图像确定用户注视目标图像时的眼部特征(特征信息)，从而确定用户的视线方向所对应的注视点。如图1b所示，本实施例可以通过分析眼部图像中的瞳孔11或虹膜12得到用户的视线方向。此外，当采用红外摄像头采集眼部图像时，也可以获取眼部图像中包含的光斑信息，以辅助得到用户的视线方向。

S103、获取所述用户注视所述注视点的瞳孔半径。

在确定出用户的注视点后，本步骤可以获取此时用户注视注视点的瞳孔半径。

一般的，眼部的积极动作和消极动作都可以通过分析瞳孔半径得到，从而可以分析瞳孔半径以确定眼部的积极动作和消极动作，从而能够得到用户对当前关注物的关注度。当用户对观看的内容感兴趣时，则会产生积极的感受，相应的瞳孔就会扩张，瞳孔半径变大；当用户对观看的内容不感兴趣时，则会产生消极的感受，相应的瞳孔就会收缩，瞳孔半径变小。因此，本实施例可以通过对用户关注目标图像时的瞳孔半径确定对应的关注度，以得到对目标图像的不同处理方式。

可以理解的是，本步骤可以分析已经获取的用于判断用户注视点的眼部图像确定用户注视该注视点的瞳孔半径；或在用户注视注视点时获取用户注视该注视点的瞳孔半径。具体的，本步骤可以提取眼部图像中瞳孔的边缘信息，然后基于瞳孔的边缘信息确定出对应的瞳孔半径。

S104、基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据。

在本实施例中，关注度可以理解为基于用户眼部特征(如瞳孔半径)确定的用户对观看物的兴趣度。待传输图像可以理解为基于划分后的目标图像得到的将要被传输的数据。

在确定出用户注视目标图像的注视点的瞳孔半径后，本步骤可以基于瞳孔半径及预设瞳孔数据表确定出对应的关注度。然后结合用户的注视点和目标图像各像素点的像素值将目标图像进行区域划分。

需要说明的是，本实施例中也可以结合眼部图像中的其余眼部特征进行关注度的确定。如获取用户注视注视点的瞳孔特征(如瞳孔半径和瞳孔位置)和光斑特征，根据瞳孔位置和光斑特征确定注视信息(注视信息包括注视时长、注视次数和/或首次注视时间)，然后根据注视信息和瞳孔半径进行关注度的确定。

需要说明的是，该预设瞳孔数据表可以是经过训练得到的通用的数据表；也可以是针对不同用户训练得到的专用数据表(不同用户对应的数据表不同)。如果是专用数据表，则在获取用户注视目标图像时的眼部图像后，还可以对该眼部图像中的虹膜特征进行提取，以对该用户进行身份识别，从而在确定出用户注视注视点的瞳孔半径后能够确定出对应的关注度。

此外，在基于注视点、瞳孔半径对应的关注度和目标图像各像素点的像素值对目标图像进行区域划分，并为划分后的区域分配优先级时，本步骤可以首先基于用户目标图像各像素点的像素值对目标图像进行边缘分割，然后选取出各封闭的区域及包含注视点的区域。最后通过用户对注视点的关注度为划分后的区域分配优先级。这样能够有效的基于用户的注视点及关注度对目标图像进行重新分割并分配优先级。

当用户注视的注视点不是用户想要关注的内容的时候(此时用户关注注视点的关注度较低)，则可以降低包含关注点区域处的优先级，提高其余区域处的优先级。其中，关注度可以与划分后区域的优先级存在一一对应关系，基于确定出的关注度，能够为划分后的区域分配不同的优先级。不同的关注度对应不同的优先级。

需要说明的是，本步骤为划分后的区域分配优先级时，基于应用场景的不同，不同的优先级可以对应不同的处理方式。如，优先级较高的区域分配较高的码率，优先级较低的区域分配较低的码率；优先级较高的区域使用较高分辨率，优先级较低的区域使用较低分辨率或优先级较高的区域采用较大的压缩比，优先级较低的地方采用较小的压缩比。需要注意的是，此处并不对不同优先级的区域的处理方式进行限定。针对不同的关注度可以为不同的区域分配不同的优先级，针对不同的优先级可以采用不同的处理手段。

此外，如果确定出的关注度低于一定阈值，本实施例也可以继续获取用户注视目标图像的注视点及对应的瞳孔半径，直到获取的关注度大于一定阈值。然后对目标图像进行划分，并为划分后的区域分配优先级。从而能够有效的保证用户关注的关注点是用户比较感兴趣的

在将目标图像进行划分，并为划分后的区域分配优先级后，本步骤可以对分配完优先级的各区域进行不同的处理得到待传输数据，该待传输数据中可以存储有各区域中各像素点的位置信息和对应的像素值，其存储形式并不作限定，可以按照位置信息进行存储，也可以按照区域进行存储。

S105、传输所述待传输数据。

在本实施例中，当得到待传输数据后，本步骤可以将该待传输数据传输至显示设备，以使显示设备将待传输数据对应的图像进行显示。显示设备则可以通过逐个接收待传输数据，然后在显示设备上显示相应的内容。

本发明实施例一提供的一种图像传输方法，首先获取用户注视目标图像时的眼部图像；其次基于所述眼部图像对应的视线确定所述用户的注视点；然后获取所述用户注视所述注视点的瞳孔半径；之后基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；最终传输所述待传输数据。利用上述方法，能够在终端设备传输目标图像之前，通过用户注视目标图像时的眼部图像对应的视线所确定的注视点、用户注视该注视点时的瞳孔半径对应的关注度及目标图像中各像素点的像素值对目标图像进行划分，然后以不同的优先级进行处理并传输。相比于直接传输目标图像而言，有效的减少了传输的数据量，从而减少传输目标图像所需时间，增大了图像传输的效率；相比于将目标图像整体进行压缩而言，有效的提高了用户关注区域图像的清晰度，提高了目标图像压缩效果。

实施例二

图2a为本发明实施例二提供的一种图像传输方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。在本实施例中，将基于所述眼部图像对应的视线确定所述用户的注视点，进一步具体化为：提取所述眼部图像中的特征信息，所述特征信息包括瞳孔特征；根据所述特征信息确定所述眼部图像对应的视线；根据确定出的视线确定所述用户在所述目标图像中的注视点。

进一步的，本实施例还将获取所述用户注视所述注视点的瞳孔半径，进一步优化为：识别所述用户注视所述注视点的眼部图像，确定所述用户注视所述注视点的瞳孔半径。

在上述优化的基础上，将基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据，具体优化为：将所述瞳孔半径与预设瞳孔数据表进行比对，确定对应的关注度；利用边缘算子对所述目标图像进行边缘检测，确定出所述目标图像中各封闭区域；从确定出的各封闭区域中选取包含所述用户的注视点的第一区域，并将所述目标图像中除所述第一区域外的区域作为第二区域；根据所述关注度和预设的关注度对照表，为所述第一区域和所述第二区域分配对应的优先级，得到待传输数据。

进一步的，本实施例还将传输所述待传输数据，具体优化为：按照预设顺序传输所述待传输数据中各像素点的位置信息和对应的像素值。

进一步的，本实施例在所述获取用户注视目标图像时的眼部图像之前，还优化包括了：当监测到启动指令时，显示目标图像。本实施例尚未详尽的内容请参考实施例一。

如图2a所示，本发明实施例二提供的一种图像传输方法，包括如下步骤：

S201、当监测到启动指令时，显示目标图像。

在本实施例中，启动指令可以理解为启动终端设备进行图像处理的指令。

一般的，在通过本实施例所提高的图像传输方法对目标图像进行处理时，本步骤可以首先监听是否存在启动指令。如果监听到启动指令，则可以在终端设备上显示目标图像，以能够根据用户眼部图像对该目标图像进行处理。从而得到对应的待传输数据。

可以理解的是，当终端设备与待传输数据的接收方(如显示设备)传输视频时，本步骤中的启动指令可以仅用于启动显示视频中的首帧图像，视频中的后续图像帧可以无需监听启动指令即可处理得到待传输数据。其中，在实际应用中，启动指令可以根据实际情况进行设定，可以是终端设备上设定按键控制产生的，也可以是通过采集用户眼部图像特定动作产生，此处对此不作限定。

S202、获取用户注视目标图像时的眼部图像。

在接收到启动指令显示目标图像后，本步骤可以对用户注视目标图像时的眼部图像进行分析，得到对应的待传输数据。在对下一帧图像进行分析时，则可以无需监测启动指令。

S203、提取所述眼部图像中的特征信息，所述特征信息包括瞳孔特征。

在获取到用户注视目标图像的眼部图像后，本步骤可以对该眼部图像进行识别，提取该眼部图像中的特征信息，以基于确定出的特征信息确定用户注视目标图像的视线。其中，特征信息可以包括瞳孔特征，如瞳孔边缘特征、瞳孔半径和/或瞳孔中心位置。

当本实施例采用红外摄像头获取用户注视目标图像时的眼部图像时，则特征信息还可以包括光斑信息。

S204、根据所述特征信息确定所述眼部图像对应的视线。

具体的，当本实施例采用红外摄像头获取用户注视目标图像时的眼部图像时，本步骤可以基于特征信息中的瞳孔特征和光斑信息利用角膜反射法确定对应的视线。当本实施例采用普通摄像头获取用户注视目标图像时的眼部图像时，本步骤可以通过特征信息及预先构建的特征与视线的对照表确定出用户的视线。此外，本步骤在确定视线时，还可以辅助接触/非接触式的传感器(例如电极、电容传感器)。

S205、根据确定出的视线确定所述用户在所述目标图像中的注视点。

在确定出用户注视目标图像时眼部图像对应的视线后，本步骤可以基于该视线确定出该视线方向在目标图像中的注视点坐标，然后根据注视点坐标确定用户在目标图像中的注视点。其中，视线可以理解为是一个三维矢量，注视点可以理解为上述三维矢量投影在某个平面上的二维坐标。

S206、识别所述用户注视所述注视点的眼部图像，确定所述用户注视所述注视点的瞳孔半径。

在本实施例中，确定出用户注视目标图像时的眼部图像和注视点后，本步骤可以进一步识别用户注视该注视点的眼部图像，确定用户在注视该注视点时的瞳孔半径，以决定对目标图像的处理方式。

具体的，本步骤可以对该眼部图像进行处理，得到眼部图像在指定方向上灰度的梯度值，然后将该灰度的梯度值达到最大值时所处位置确定为瞳孔边缘位置。在确定出瞳孔边缘位置后对其进行拟合，然后确定出拟合图形的半径，以得到对应的瞳孔半径。

S207、将所述瞳孔半径与预设瞳孔数据表进行比对，确定对应的关注度。

在本实施例中，预设瞳孔数据表可以理解为预先训练得到的瞳孔半径及关注度的对照表。在确定出用户注视注视点的瞳孔半径后，本步骤可以查找预设瞳孔数据表得到该瞳孔半径所对应的关注度。

S208、利用边缘算子对所述目标图像进行边缘检测，确定出所述目标图像中各封闭区域。

在本实施例中，边缘算子可以理解为基于目标图像各像素点的像素值对目标图像进行边缘检测的算子。如，高斯拉普拉斯(Laplacian-of-Gaussian，LoG)算子、Roberts算子或Prewitt算子等。

本步骤在采用边缘算子对目标图像进行边缘检测时，可以确定出目标图像中各边缘信息。在确定出各边缘信息后，本步骤可以选取各边缘连续的区域组成封闭区域，将目标图像中除各封闭区域外的区域形成一个封闭区域。

S209、从确定出的各封闭区域中选取包含所述用户的注视点的第一区域，并将所述目标图像中除所述第一区域外的区域作为第二区域。

在确定出目标图像中包含的各封闭区域后，本步骤可以基于注视点的坐标从各封闭区域中选取包含注视点的区域作为第一区域，然后将目标图像中除第一区域外的区域作为第二区域，从而将目标图像划分为了包含注视点的区域和不包含注视点的区域。

S210、根据所述关注度和预设的关注度对照表，为所述第一区域和所述第二区域分配对应的优先级，得到待传输数据。

在实施例中，关注度对照表可以理解为预先设定的关注度和优先级的对应关系，该设定关系可以通过训练得到。

在确定出第一区域、第二区域和关注度后，本步骤可以查找预设的关注度对照表确定对应的优先级，然后为第一区域和第二区域分配对应的优先级，以得到待传输数据。

S211、按照预设顺序传输所述待传输数据中各像素点的位置信息和对应的像素值。

在本实施例中，预设顺序可以理解为预先设定的待传输数据的传输顺序。位置信息可以理解为坐标信息。

在得到待传输数据后，本步骤可以按照预设顺序将待传输数据中各像素点的位置信息和对应的像素值进行传输，以使显示设备基于接收到的位置信息和对应的像素值进行图像显示。可以理解的是，设定顺序的设定可以根据实际应用进行设定，可以基于各像素点的位置确定，也可以划分后的区域确定。

图2b给出了本发明实施例二提供的图像传输方法的应用场景示意图。如图2b所示，用户211佩戴着AR设备212观看终端设备213中的视频或图像。其中，终端设备213可以为计算机，此处并不对此进行限定，终端设备213也可以为手机或掌上电脑等设备。

基于该应用场景图像传输的过程可以为：当终端设备213获取到启动指令后，可以将目标图像显示在终端设备213的显示屏上，然后终端设备213可以通过与AR设备212建立的通信连接获取AR设备212中图像采集装置采集的用户21注视目标图像时的眼部图像，然后提取该眼部图像中的特征信息，以确定用户211的视线，基于确定出的视线确定用户211在所述目标图像的注视点。之后确定用户211注视该注视点的瞳孔半径，查找预设瞳孔数据表中对应于该瞳孔半径的关注度，利用该关注度为目标图像划分后的第一区域和第二区域分配优先级，以得到待传输数据，最后以设定顺序传输待传输数据中各像素点的位置信息和对应的像素值。其中，在对目标图像进行划分时，可以利用边缘算子对目标图像进行边缘检测，确定出各封闭区域，然后从各封闭区域中选取包括注视点的第一区域和第二区域。

可以理解的是，当用户211不佩戴AR设备212时，终端设备213可以通过设置在终端设备213上的图像采集装置获取用户211注视目标图像时的眼部图像。如果用户211佩戴的是VR设备，终端设备213可以内置于VR设备中，通过与VR设备建立的通信连接获取VR设备中图像采集装置采集的用户211注视目标图像的眼部图像。

图2c给出了本发明实施例二提供的对划分完的目标图像分配优先级后的示意图。如图2c所示，假设此时的目标图像2中显示了一部手机221和一台主机222，并且用户211注视点位于手机221上，则目标图像2中手机221的边缘所形成的封闭区域(如手机221外轮廓组成的区域)可以为第一区域，目标图像2中除了第一区域外的区域可以为第二区域。其中第一区域和第二区域的优先级可以通过分析用户211注视注视点的瞳孔半径对应的关注度确定。如果用户211关注手机221时的关注度较高，则可以为第一区域设置较高优先级，相应的可以提高第一区域渲染精度或码率，降低第二区域的渲染精度或码率，从而第一区域中手机221则可以清晰显示，第二区域中主机222则可以模糊显示。

本发明实施例二提供的一种图像传输方法，具体化了注视点确定操作、瞳孔半径确定操作、待传输数据确定操作和传输待传输数据操作。此外，还优化增加了显示目标图像操作。利用该方法，能够在监测到启动指令后，将目标图像进行显示，以根据用户注视目标图像时的眼部图像中的特征信息确定对应的视线，然后根据该视线确定用户的注视点及注视该注视点时瞳孔半径对应的关注度。通过边缘算子确定目标图像中各封闭区域，然后选取出包含注视点的第一区域和目标图像中除第一区域外的第二区域，再基于关注度和关注度对照表为第一区域和第二区域分配优先级得到待传输数据，最后按照预设顺序将待传输数据中各像素点的位置信息和对应的像素值进行传输，在降低传输数量的基础上，提高了对目标图像的压缩效率，使得用户关注度高的地方清晰显示，关注度低的地方模糊显示，并且能够有效的根据用户注视注视点处的关注度为第一区域和第二区域分配适合的优先级。

实施例三

图3为本发明实施例三提供的一种图像传输装置的结构示意图，该装置可适用于不同图像传输设备间(如终端设备和显示设备间)对目标图像进行传输的情况。其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。

如图3所示，该图像传输装置包括：眼部图像获取模块31、注视点确定模块32、瞳孔半径确定模块33、待传数据确定模块34和传输模块35。

其中，眼部图像获取模块31，用于获取用户注视目标图像时的眼部图像；

注视点确定模块32，用于基于所述眼部图像对应的视线确定用户的注视点；

瞳孔半径确定模块33，用于获取所述用户注视所述注视点的瞳孔半径；

待传数据确定模块34，用于基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；

传输模块35，用于传输所述待传输数据。

在本实施例中，该图像传输装置首先通过眼部图像获取模块31获取用户注视目标图像时的眼部图像；其次通过注视点确定模块32基于所述眼部图像对应的视线确定用户的注视点；然后通过瞳孔半径确定模块33获取所述用户注视所述注视点的瞳孔半径；之后通过待传数据确定模块34基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；最后通过传输模块35传输所述待传输数据。

本实施例提供的一种图像传输装置，能够在终端设备传输目标图像之前，通过用户注视目标图像时的眼部图像对应的视线所确定的注视点、用户注视该注视点时的瞳孔半径对应的关注度及目标图像中各像素点的像素值对目标图像进行划分，然后以不同的优先级进行处理传输。相比于直接传输目标图像而言，有效的减少了传输的数据量，从而减少传输目标图像所需时间，增大了图像传输的效率；相比于将目标图像整体进行压缩而言，有效的提高了用户关注区域图像的清晰度，提高了目标图像压缩效果。

进一步的，注视点确定模块32，具体用于：提取所述眼部图像中的特征信息，所述特征信息包括瞳孔特征；根据所述特征信息确定所述眼部图像对应的视线；根据确定出的视线确定所述用户在所述目标图像中的注视点。

在上述优化的基础上，瞳孔半径确定模块33，具体用于：识别所述用户注视所述注视点的眼部图像，确定所述用户注视所述注视点的瞳孔半径。

基于上述技术方案，待传数据确定模块34，具体用于：将所述瞳孔半径与预设瞳孔数据表进行比对，确定对应的关注度；利用边缘算子对所述目标图像进行边缘检测，确定出所述目标图像中各封闭区域；从确定出的各封闭区域中选取包含所述用户的注视点的第一区域，并将所述目标图像中除所述第一区域外的区域作为第二区域；根据所述关注度和预设的关注度对照表，为所述第一区域和所述第二区域分配对应的优先级，得到待传输数据。

进一步的，传输模块35，具体用于：按照预设顺序传输所述待传输数据中各像素点的位置信息和对应的像素值。

进一步的，该图像传输装置，还优化包括了：目标图像显示模块36，用于当监测到启动指令时，显示目标图像。

上述图像传输装置可执行本发明任意实施例所提供的图像传输方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种终端设备的结构示意图。如图4所示，本发明实施例四提供的终端设备包括：一个或多个处理器41和存储装置42；该终端设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的图像传输方法。

所述终端设备还可以包括：输入装置43和输出装置44。

终端设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。

该终端设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供图像传输方法对应的程序指令/模块(例如，附图3所示的图像传输装置中的模块，包括：眼部图像获取模块31、注视点确定模块32、瞳孔半径确定模块33、待传数据确定模块34和传输模块35，还包括目标图像显示模块36)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中图像传输方法。

存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入或获取用户注视目标图像时的眼部图像。输入装置43可包括但不限于：图像采集装置(如红外摄像头，该红外摄像头配置有红外灯)、按键和/或麦克风等输入设备。输出装置44可包括但不限于：显示屏。

并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：获取用户注视目标图像时的眼部图像；基于所述眼部图像对应的视线确定所述用户的注视点；获取所述用户注视所述注视点的瞳孔半径；基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；传输所述待传输数据。

此外，本发明实施例还提供一种计算机存储介质，其上存储有计算机程序，该计算机存储介质可以包括可读存储介质和/或可写存储介质。该程序被处理器执行时用于执行一种图像传输方法，该方法包括：获取用户注视目标图像时的眼部图像；基于所述眼部图像对应的视线确定所述用户的注视点；获取所述用户注视所述注视点的瞳孔半径；基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；传输所述待传输数据。

可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的一种图像传输方法的技术方案。通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像传输方法，其特征在于，包括：

获取用户注视目标图像时的眼部图像；

基于所述眼部图像对应的视线确定所述用户的注视点；

获取所述用户注视所述注视点的瞳孔半径；

基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；

传输所述待传输数据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述眼部图像对应的视线确定所述用户的注视点，包括：

提取所述眼部图像中的特征信息，所述特征信息包括瞳孔特征；

根据所述特征信息确定所述眼部图像对应的视线；

根据确定出的视线确定所述用户在所述目标图像中的注视点。

3.根据权利要求1所述的方法，其特征在于，所述获取所述用户注视所述注视点的瞳孔半径，包括：

识别所述用户注视所述注视点的眼部图像，确定所述用户注视所述注视点的瞳孔半径。

4.根据权利要求1所述的方法，其特征在于，所述基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据，包括：

将所述瞳孔半径与预设瞳孔数据表进行比对，确定对应的关注度；

利用边缘算子对所述目标图像进行边缘检测，确定出所述目标图像中各封闭区域；

从确定出的各封闭区域中选取包含所述用户的注视点的第一区域，并将所述目标图像中除所述第一区域外的区域作为第二区域；

根据所述关注度和预设的关注度对照表，为所述第一区域和所述第二区域分配对应的优先级，得到待传输数据。

5.根据权利要求4所述的方法，其特征在于，所述传输所述待传输数据，包括：

按照预设顺序传输所述待传输数据中各像素点的位置信息和对应的像素值。

6.根据权利要求1所述的方法，其特征在于，在所述获取用户注视目标图像时的眼部图像之前，还包括：

当监测到启动指令时，显示目标图像。

7.一种图像传输装置，其特征在于，包括：

眼部图像获取模块，用于获取用户注视目标图像时的眼部图像；

注视点确定模块，用于基于所述眼部图像对应的视线确定用户的注视点；

瞳孔半径确定模块，用于获取所述用户注视所述注视点的瞳孔半径；

待传数据确定模块，用于基于所述用户的注视点、所述瞳孔半径对应的关注度和所述目标图像中各像素点的像素值将所述目标图像进行区域划分，并为各划分后的区域分配优先级，得到待传输数据；

传输模块，用于传输所述待传输数据。

8.根据权利要求7所述的装置，其特征在于，还包括：

目标图像显示模块，用于当监测到启动指令时，显示目标图像。

9.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的图像传输方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的图像传输方法。