CN111813228A - 一种基于用户视觉的图像传输方法及其系统 - Google Patents

一种基于用户视觉的图像传输方法及其系统 Download PDF

Info

Publication number
CN111813228A
CN111813228A CN202010930180.9A CN202010930180A CN111813228A CN 111813228 A CN111813228 A CN 111813228A CN 202010930180 A CN202010930180 A CN 202010930180A CN 111813228 A CN111813228 A CN 111813228A
Authority
CN
China
Prior art keywords
area
display
focusing
user
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010930180.9A
Other languages
English (en)
Other versions
CN111813228B (zh
Inventor
谭伟良
史伟
闵宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Eflycloud Computing Co Ltd
Original Assignee
Guangdong Eflycloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Eflycloud Computing Co Ltd filed Critical Guangdong Eflycloud Computing Co Ltd
Priority to CN202010930180.9A priority Critical patent/CN111813228B/zh
Publication of CN111813228A publication Critical patent/CN111813228A/zh
Application granted granted Critical
Publication of CN111813228B publication Critical patent/CN111813228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Abstract

本发明公开一种基于用户视觉的图像传输方法及其系统,图像传输方法步骤包括:对客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;对应地,在云桌面服务端上,将显示画面划分若干个显示区域,并对每一个显示区域进行标记,每个显示区域包括若干所需传输的显示图像数据块;判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,客户端显示设备将此聚焦区域的标记发送给云桌面服务端;根据客户端显示设备发送的标记,云桌面服务端将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示。本发明优先传输用户视觉的清晰区图像数据给客户端显示设备,用来改善云桌面画面传输效率以及显示效果。

Description

一种基于用户视觉的图像传输方法及其系统
技术领域
本发明涉及图像传输技术领域,特别涉及一种基于用户视觉的图像传输方法及其系统。
背景技术
云桌面的图像传输,需要从远端把虚拟机的显示数据传输到本地端进行显示。而图像的传输一般采用图像压缩、图像分块、传输变化的图像块等方式进行。此外,人的眼睛在看显示器的画面时(坐在显示器前),尤其是现在的显示器越来越大,眼睛在某时刻能清楚看到的区域(简称:视觉清晰区)是有限的,往往只能清楚看到(眼睛聚焦后清楚看到)整个画面的1/2甚至更小的区域。
现在的图像传输,往往没有考虑这个因素,在传输图像时是无差别对待的(往往会按照分块的次序来传输所显示的图像数据块)。因此,在某些时候,使用者的视觉清晰区的图像可能没有被优先传输。遇到网络质量不好或带宽不足的情况下,客户端接收到的显示画面数据本来就已经有一定的滞后,这时候如果需要传输是整个画面的显示数据,那么显示画面的滞后感会更严重,用户体验也会大打节扣。这种情况下,如果可以先把使用者的视觉清晰区图像数据先传输并且先显示,无疑极大的改进用户的体验。
发明内容
本发明要解决的技术问题在于,提供一种基于用户视觉的图像传输方法及其系统,在云桌面服务端上优先传输用户视觉的清晰区图像数据给客户端显示设备进行显示,用来改善云桌面画面传输效率以及云桌面显示效果。
为解决上述技术问题,本发明提供如下技术方案:一种基于用户视觉的图像传输方法,包括以下步骤:
S1、对客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;对应地,在云桌面服务端上,将显示画面划分若干个显示区域,并对每一个显示区域进行标记,每个显示区域包括若干所需传输的显示图像数据块;其中,聚焦区域和显示区域的形状以及数量一致,每个聚焦区域的标记和对应显示区域的标记相同;
S2、判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,客户端显示设备将此聚焦区域的标记发送给云桌面服务端;
S3、根据客户端显示设备发送的标记,云桌面服务端将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示。
进一步地,所述步骤S2中判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,其具体为:
S21、捕捉用户的头部影像信息和瞳仁影像信息,以及测量用户头部和客户端显示设备之间的视觉距离;
S22、根据用户的头部影像信息和瞳仁影像信息,分析得到头部方向和瞳仁方向;
S23、根据头部方向和瞳仁方向,判断出用户眼睛的聚焦方向;其中,预先在客户端显示设备上定义若干个聚焦方向;
S24、根据聚焦方向和视觉距离,判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域。
进一步地,所述步骤S1中对客户端显示设备划分若干个聚焦区域,其为:对客户端显示设备划分5个聚焦区域;对应地,在云桌面服务端上,将显示画面划分5个显示区域;
或者,所述对客户端显示设备划分若干个聚焦区域,其为:对客户端显示设备划分9个聚焦区域;对应地,在云桌面服务端上,将显示画面划分9个显示区域。
进一步地,对所述步骤S2中的聚焦区域,在一定时间间隔内,若用户眼睛所聚焦在其中一个聚焦区域的次数越多,则客户端显示设备将此聚焦区域的面积增大;对应地,云桌面服务端将相同标记的显示区域进行面积增大;
若用户眼睛所聚焦在其中一个聚焦区域的次数越少,则客户端显示设备将此聚焦区域的面积减少;对应地,云桌面服务端将相同标记的显示区域进行面积减少。
进一步地,所述步骤S3的云桌面服务端将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示,其中,显示区域内的显示图像数据块为多个显示图像数据块时,把越靠近显示区域左上方位置的显示图像数据块优先进行传输。
进一步地,所述步骤S3还包括:在网络延时过高或网络质量差的情况下,云桌面服务端只传输用户眼睛所聚焦的聚焦区域内的显示图像数据块,其他聚焦区域内的显示图像数据块停止传输,当判断到用户眼睛所聚焦到下一聚焦区域时,再传输下一聚焦区域内的显示图像数据块。
本发明另一目的是提供一种基于用户视觉的图像传输系统,包括相互连接的客户端显示设备和云桌面服务端,所述客户端显示设备包括聚焦区域划分模块和用户眼睛聚焦判断模块,所述云桌面服务端包括显示区域划分模块;
所述云桌面服务端用于将其显示画面中的显示图像数据块发送给所述客户端显示设备进行画面显示;
所述聚焦区域划分模块用于对所述客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;
所述显示区域划分模块用于对所述云桌面服务端的显示画面划分若干个显示区域,并对每一个显示区域进行标记;其中,聚焦区域和显示区域进行对应划分,聚焦区域和显示区域的形状以及数量一致,每个聚焦区域的标记和对应显示区域的标记相同;
所述用户眼睛聚焦判断模块用于判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,所述客户端显示设备用于将此聚焦区域的标记发送给云桌面服务端;根据所述客户端显示设备发送的标记,所述云桌面服务端用于将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示。
进一步地所述的一种基于用户视觉的图像传输系统,还包括视觉捕捉设备和视觉距离测量设备,所述视觉捕捉设备和视觉距离测量设备均连接所述客户端显示设备,所述客户端显示设备还包括方向分析模块和聚焦方向判断模块;
所述视觉捕捉设备用于捕捉用户的头部影像信息和瞳仁影像信息;
所述视觉距离测量设备用于测量用户头部和客户端显示设备之间的视觉距离;
所述方向分析模块用于根据用户的头部影像信息和瞳仁影像信息,分析得到头部方向和瞳仁方向;
所述聚焦方向判断模块用于根据头部方向和瞳仁方向,判断出用户眼睛的聚焦方向;
所述用户眼睛聚焦判断模块用于根据聚焦方向和视觉距离,判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域。
进一步地,所述客户端显示设备还包括聚焦区域面积修改模块,所述云桌面服务端还包括显示区域面积修改模块;
所述聚焦区域面积修改模块用于根据用户眼睛所聚焦在其中一个聚焦区域的次数多少,对此聚焦区域的面积进行修改,包括:若用户眼睛所聚焦在其中一个聚焦区域的次数越多,则所述聚焦区域面积修改模块将此聚焦区域的面积增大;若用户眼睛所聚焦在其中一个聚焦区域的次数越少,则所述聚焦区域面积修改模块将此聚焦区域的面积减少;
所述显示区域面积修改模块用于:当所述聚焦区域面积修改模块对聚焦区域的面积进行修改后,对应地,显示区域面积修改模块将相同标记的显示区域面积进行同样的面积修改。
采用上述技术方案后,本发明至少具有如下有益效果:客户端显示设备进行显示实际应用中,用户所注视的画面范围并不大,如果优先传输并显示“聚焦区域”上的图像块,而不是等待整个显示画面的数据传输到客户端才显示,那么在网络不太好的环境下(如:延时高,丢包严重的环境),这可以大大的提高云桌面的显示体验。
附图说明
图1为本发明一种基于用户视觉的图像传输方法步骤流程图。
图2为本发明实施例1中将客户端显示设备的显示画面划分5个聚焦区域的聚焦区域分布图。
图3为本发明实施例1中将云桌面服务端的显示画面划分5个显示区域的显示区域分布图。
图4为本发明实施例1中将客户端显示设备的显示画面划分9个聚焦区域的聚焦区域分布图。
图5为本发明本发明实施例1中将云桌面服务端的显示画面划分9个显示区域的显示区域分布图。
图6为本发明实施例1中判断瞳仁方法的瞳仁标记图。
图7为本发明实施例1中判断面部方向方法的面部划分图。
图8为本发明实施例1中计算面部面积的面积划分图。
图9为本发明实施例1中对客户端显示设备定义9个聚焦方向的聚焦方向分布图。
图10为本发明一种基于用户视觉的图像传输系统框架图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本申请作进一步详细说明。
实施例1
本实施例公开一种基于用户视觉的图像传输方法,由于涉及的是云桌面画面的传输以及用户视觉,因此需要一系列硬件的支持与辅助:有用于显示云桌面画面的计算机显示设备(客户端显示设备);需要在客户端所在显示设备上,架设一个用于捕捉用户头部影像信息的图像设备(简称:视觉捕捉设备),计算机通用的摄像头或摄像抢,或者能够被计算机识别的摄像设备都可以,不限于某种具体的芯片或品牌设备;需要在客户端所在显示设备上,架设一个用于测量用户头部和客户端显示设备之间的距离(简称:视觉距离测量设备),通用的测量距离的仪器或设备都可以,如:红外线测距仪、激光测距仪、超声波测距仪等都可以,不限于某种具体的芯片或品牌设备;备注:上述设备最好正对人脸摆放。
如图1所示,本实施例一种基于用户视觉的图像传输方法,包括以下步骤:
S1、对客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;对应地,在云桌面服务端上,将显示画面划分若干个显示区域,并对每一个显示区域进行标记,每个显示区域包括若干所需传输的显示图像数据块;其中,聚焦区域和显示区域的形状以及数量一致,每个聚焦区域的标记和对应显示区域的标记相同;
其中,可具体地对客户端显示设备的显示画面划分成5个聚焦区域,如图2所示;对应地,在云桌面服务端上,也需要将显示画面划分5个显示区域,如图3所示,使得聚焦区域和显示区域;
又或者是,可具体地对客户端显示设备的显示画面划分成9个聚焦区域,如图4所示;对应地,在云桌面服务端上,也需要将显示画面划分9个显示区域,如图5所示;具体的聚焦区域可根据实际应用进行设置与调节;
由于是云桌面服务端将云桌面的显示图像数据传输给本地的客户端显示设备进行显示的,因此,云桌面服务端和客户端显示设备之间的显示图像数据应该保持一致,对应地,客户端显示设备的聚焦区域与云桌面服务端的显示区域需保持一致,通过对聚焦区域的标记和对应显示区域的标记保持相同,主要作用就是让云桌面的显示图像数据传输,按标记进行对应显示图像数据即可,方便快速;
S2、判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域;客户端显示设备将此聚焦区域的标记发送给云桌面服务端;
在一定时间间隔内,若用户眼睛所聚焦在其中一个聚焦区域的次数越多,则客户端显示设备将此聚焦区域的面积增大;对应地,云桌面服务端将相同标记的显示区域进行面积增大;
若用户眼睛所聚焦在其中一个聚焦区域的次数越少,则客户端显示设备将此聚焦区域的面积减少;对应地,云桌面服务端将相同标记的显示区域进行面积减少;
例如,针对客户端显示设备的显示画面划分成5个聚焦区域的情况:以中心区域为基础,最大可增加中心区域面积10%的面积;例如,针对客户端显示设备的显示画面划分成9个聚焦区域的情况:以中心区域为基础,最大可增加中心区域面积20%的面积;
针对客户端显示设备的显示画面划分成5个聚焦区域的情况:以中心区域为基础,最大可减少中心区域面积10%的面积;针对客户端显示设备的显示画面划分成9个聚焦区域的情况:以中心区域为基础,最大可减少中心区域面积20%的面积;
10%和20%的为经验取值(标记为最大调整值),可根据实际情况,进行微调。微调依据根据注视频率来确定,注视频率越高,越接近“最大调整值”。
这样做得好处就是:用户聚焦次数越多说明这里的图像数据越重要,那么需要浏览的页面数据也一定更大,因此需要根据实际进行调整,即聚焦次数越多,浏览范围越多,反之亦然;
步骤S2中判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,可具体地:
S21、捕捉用户的头部影像信息和瞳仁影像信息,以及测量用户头部和客户端显示设备之间的视觉距离;
S22、根据用户的头部影像信息和瞳仁影像信息,分析得到头部方向和瞳仁方向;分析方法如下:
分析瞳仁方向具体如下:
(1)识别人脸及其轮廓,及计算人脸的面积;
(2)识别眼睛及其瞳仁、眼白的轮廓和位置信息和相关面积;
备注:(1)和(2)所涉及的识别和面积计算,均使用OpenCV上的功能;也就是使用通用的算法即可;
(3)如图6所示,判断瞳仁(眼睛的注视)方向(左右),备注:分别对两只眼睛作为计算对象,Syb(左)为两只眼睛的左边眼白的总和,Syb(右)为两只眼睛的右边眼白的总和,Sy(左)两只眼睛的左边眼睛的总和,Sy(右) 两只眼睛的右边眼睛的总和;
(3.1)计算瞳仁两边眼白的面积,左边眼白面积记录为Syb(左),右边眼白面积记录为Syb(右);取瞳仁中心,把眼睛切割为左右两边,计算面积,分别标记为Sy(左)和Sy(右),同时计算切割后的瞳仁的左右两边面积,分别标记为St(左)和St(右);Syb (左)= Sy(左)-St(左),Syb (右)= Sy(右)- St(右);
(3.2)通过对比两边眼白的面积大小,判断眼睛的注视方向(只有差值达到一定的比例,则认为眼睛非正视,再根据差值的正负,进一步判断注视的方向是左边还是右边);
两边眼白面积差异=ABS(Syb(左)- Syb(右))/MIN(Syb(左),Syb(右)))
ABS:绝对值函数,MIN:取最小值函数,Fy:差异阈值,一般取值为0.5~1之间;
Fy的具体取值依据:
如果(眼白面积-瞳仁面积)/MIN(眼白面积,瞳仁面积)>=1,则Fy取值0.5,否则Fy取值1;
判断眼睛的注视方向的方法:如果两边眼白面积差异>Fy,则眼睛非正视;在判断了眼睛非正视的情况下,再判断:如果Syb(左)> Syb(右),则认为眼睛的注视方向为右边,如果Syb(左)<Syb(右),则认为眼睛的注视方向为左边;
判断头部方向(面部的面向方向)具体如下:
(4)判断面部的面向方向(左右)
(4.1)如图7所示,通过两眼瞳仁中心的位置,计算两眼中心位置,使用横坐标即可;
Xn(中)=(Xt(右)-Xt(左))/2
(4.2)通过两眼中心位置,把人脸分隔为左右两边,并计算对应的面积,标记为Sn(左)和Sn(右),如图8所示;
(4.3)获取人脸和屏幕的距离,单位CM,标记为d;
(4.4)通过对比Sn(左)和Sn(右)大小,并结合d,判断面部的注视方向(只有差值达到一定的比例,则认为面部非正视,再根据差值的正负,进一步判断面部的方向是左边还是右边);
两边面部面积差异=ABS(Sn (左)- Sn (右))/MIN(Sn (左),Sn (右)))
ABS:绝对值函数,MIN:取最小值函数,Fn:差异阈值,一般取值为0.1~0.25之间;
Fn的具体取值依据:如果d<=70cm,则取值0.25;如果70cm<d<=80cm,则取值0.20;如果80cm<d<=90cm,则取值0.15;如果d>90cm,则取值0.1;
判断面部的方向的方法:如果两边面部面积差异>Fn,则面部非正面;在判断了面部非正面的情况下,再判断:如果Sn (左)> Sn (右),则认为人脸往右边侧,如果Sn (左)< Sn(右),则认为人脸往左边侧;
S23、根据头部方向和瞳仁方向,判断出用户眼睛的聚焦方向;其中,预先在客户端显示设备上定义若干个聚焦方向;
优选的,如图9所示,预先对客户端显示设备定义9个聚焦方向,9个聚焦方向的划分区域包括左上、左、左下、上、正中、下、右上、右以及右下;
判断出用户眼睛的聚焦方向具体为:
(5)判断眼睛的注视方向(上下);采用统计的方式,判断眼睛的注视方向是否为上或下;
备注:把上眼眶边缘与下眼眶边缘位置之间的距离,记录为Fd;正视时,把上眼眶边缘与下眼眶边缘位置之间的距离,记录为Fd(正视);判断上下注视方向,基于:
*眼睛正视的概率,比眼睛注视其它方向的概率要大;
*眼睛注视“上”方向时,比起正视时,眼皮会“向上翻一些”;
*眼睛注视“下”方向时,比起正视时,眼皮会“向下翻一些”;
根据如下方式进行计算判断:如果当前的Fd> F(正视),判断为向上注视;
如果当前的Fd< F(正视),判断为向下注视;其它情况视为正面注视;
Fd(正视)的具体确认方式如下:
Fd进行一段时间内的统计(如1天),把80%范围内的点,计算平均值,该值则记录为Fd(正视);
(6)综合“眼睛的注视方向”和“人脸方向”,最终判断聚焦方向:
只要“眼睛的注视方向(左右)”和“人脸方向”有一个为左,则认为聚焦方向为左边;
只要“眼睛的注视方向(左右)”和“人脸方向”有一个为右,则认为聚焦方向为右边;
“眼睛的注视方向(左右)”和“人脸方向”同时为正面,则认为聚焦方向为正面;
一般情况下,不会出现“眼睛的注视方向”和“人脸方向”各为左右的情况;
S24、根据聚焦方向和视觉距离,判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域;客户端显示设备将此聚焦区域的标记发送给云桌面服务端;
S3、根据客户端显示设备发送的标记,云桌面服务端将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示;优先将用户眼睛所聚焦的显示区域上的显示图像数据内容发给用户后,再发送其他显示区域的显示图像数据给用户,其他显示区域的发送顺序可以根据历史记录进行先后顺序进行发送(历史记录范围最多的显示区域优先进行发送);又或者其他显示区域,如果是相邻与用户眼睛所聚焦的显示区域,则在用户眼睛所聚焦的显示区域发送后优先发给客户端显示设备;
其中,显示区域内的显示图像数据块为多个显示图像数据块时,把越靠近显示区域左上方位置的显示图像数据块优先进行传输;
作为优选的,在网络延时过高或网络质量差的情况下,云桌面服务端只传输用户眼睛所聚焦的聚焦区域内的显示图像数据块,其他聚焦区域内的显示图像数据块停止传输,当判断到用户眼睛所聚焦到下一聚焦区域时,再传输下一聚焦区域内的显示图像数据块。
实施例2
本实施例是在实施例1公开的图像传输方法基础上,公开一种基于用户视觉的图像传输系统,如图10所示,包括相互连接的客户端显示设备和云桌面服务端,所述客户端显示设备包括聚焦区域划分模块和用户眼睛聚焦判断模块,所述云桌面服务端包括显示区域划分模块;
所述云桌面服务端用于将其显示画面中的显示图像数据块发送给所述客户端显示设备进行画面显示;
所述聚焦区域划分模块用于对所述客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;
所述显示区域划分模块用于对所述云桌面服务端的显示画面划分若干个显示区域,并对每一个显示区域进行标记;其中,聚焦区域和显示区域进行对应划分,聚焦区域和显示区域的形状以及数量一致,每个聚焦区域的标记和对应显示区域的标记相同;
所述用户眼睛聚焦判断模块用于判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,所述客户端显示设备用于将此聚焦区域的标记发送给云桌面服务端;根据所述客户端显示设备发送的标记,所述云桌面服务端用于将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示。
作为优选的,所述的一种基于用户视觉的图像传输系统,还包括视觉捕捉设备和视觉距离测量设备,所述视觉捕捉设备和视觉距离测量设备均连接所述客户端显示设备,所述客户端显示设备还包括方向分析模块和聚焦方向判断模块;
所述视觉捕捉设备用于捕捉用户的头部影像信息和瞳仁影像信息;其中,所述视觉捕捉设备采用计算机通用的摄像头或摄像抢,或者能够被计算机识别的摄像设备都可以,不限于某种具体的芯片或品牌设备;
所述视觉距离测量设备用于测量用户头部和客户端显示设备之间的视觉距离;其中,所述视觉距离测量设备采用通用的测量距离的仪器或设备都可以,如:红外线测距仪、激光测距仪、超声波测距仪等都可以,不限于某种具体的芯片或品牌设备;
所述方向分析模块用于根据用户的头部影像信息和瞳仁影像信息,分析得到头部方向和瞳仁方向;
所述聚焦方向判断模块用于根据头部方向和瞳仁方向,判断出用户眼睛的聚焦方向;
所述用户眼睛聚焦判断模块用于根据聚焦方向和视觉距离,判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域。
作为优选的,所述客户端显示设备还包括聚焦区域面积修改模块,所述云桌面服务端还包括显示区域面积修改模块;
所述聚焦区域面积修改模块用于根据用户眼睛所聚焦在其中一个聚焦区域的次数多少,对此聚焦区域的面积进行修改,包括:若用户眼睛所聚焦在其中一个聚焦区域的次数越多,则所述聚焦区域面积修改模块将此聚焦区域的面积增大;若用户眼睛所聚焦在其中一个聚焦区域的次数越少,则所述聚焦区域面积修改模块将此聚焦区域的面积减少;
所述显示区域面积修改模块用于:当所述聚焦区域面积修改模块对聚焦区域的面积进行修改后,对应地,显示区域面积修改模块将相同标记的显示区域面积进行同样的面积修改。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解的是,在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种等效的变化、修改、替换和变型,本发明的范围由所附权利要求及其等同范围限定。

Claims (9)

1.一种基于用户视觉的图像传输方法,其特征在于,包括以下步骤:
S1、对客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;对应地,在云桌面服务端上,将显示画面划分若干个显示区域,并对每一个显示区域进行标记,每个显示区域包括若干所需传输的显示图像数据块;其中,聚焦区域和显示区域的形状以及数量一致,每个聚焦区域的标记和对应显示区域的标记相同;
S2、判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,客户端显示设备将此聚焦区域的标记发送给云桌面服务端;
S3、根据客户端显示设备发送的标记,云桌面服务端将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示。
2.根据权利要求1所述的一种基于用户视觉的图像传输方法,其特征在于,所述步骤S2中判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,其具体为:
S21、捕捉用户的头部影像信息和瞳仁影像信息,以及测量用户头部和客户端显示设备之间的视觉距离;
S22、根据用户的头部影像信息和瞳仁影像信息,分析得到头部方向和瞳仁方向;
S23、根据头部方向和瞳仁方向,判断出用户眼睛的聚焦方向;其中,预先在客户端显示设备上定义若干个聚焦方向;
S24、根据聚焦方向和视觉距离,判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域。
3.根据权利要求1所述的一种基于用户视觉的图像传输方法,其特征在于,所述步骤S1中对客户端显示设备划分若干个聚焦区域,其为:对客户端显示设备划分5个聚焦区域;对应地,在云桌面服务端上,将显示画面划分5个显示区域;
或者,所述对客户端显示设备划分若干个聚焦区域,其为:对客户端显示设备划分9个聚焦区域;对应地,在云桌面服务端上,将显示画面划分9个显示区域。
4.根据权利要求1或3所述的一种基于用户视觉的图像传输方法,其特征在于,对所述步骤S2中的聚焦区域,在一定时间间隔内,若用户眼睛所聚焦在其中一个聚焦区域的次数越多,则客户端显示设备将此聚焦区域的面积增大;对应地,云桌面服务端将相同标记的显示区域进行面积增大;
若用户眼睛所聚焦在其中一个聚焦区域的次数越少,则客户端显示设备将此聚焦区域的面积减少;对应地,云桌面服务端将相同标记的显示区域进行面积减少。
5.根据权利要求1所述的一种基于用户视觉的图像传输方法,其特征在于,所述步骤S3的云桌面服务端将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示,其中,显示区域内的显示图像数据块为多个显示图像数据块时,把越靠近显示区域左上方位置的显示图像数据块优先进行传输。
6.根据权利要求1所述的一种基于用户视觉的图像传输方法,其特征在于,所述步骤S3还包括:在网络延时过高或网络质量差的情况下,云桌面服务端只传输用户眼睛所聚焦的聚焦区域内的显示图像数据块,其他聚焦区域内的显示图像数据块停止传输,当判断到用户眼睛所聚焦到下一聚焦区域时,再传输下一聚焦区域内的显示图像数据块。
7.一种基于用户视觉的图像传输系统,其特征在于,包括相互连接的客户端显示设备和云桌面服务端,所述客户端显示设备包括聚焦区域划分模块和用户眼睛聚焦判断模块,所述云桌面服务端包括显示区域划分模块;
所述云桌面服务端用于将其显示画面中的显示图像数据块发送给所述客户端显示设备进行画面显示;
所述聚焦区域划分模块用于对所述客户端显示设备的显示画面划分若干个聚焦区域,并对每一个聚焦区域进行标记;
所述显示区域划分模块用于对所述云桌面服务端的显示画面划分若干个显示区域,并对每一个显示区域进行标记;其中,聚焦区域和显示区域进行对应划分,聚焦区域和显示区域的形状以及数量一致,每个聚焦区域的标记和对应显示区域的标记相同;
所述用户眼睛聚焦判断模块用于判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域,所述客户端显示设备用于将此聚焦区域的标记发送给云桌面服务端;根据所述客户端显示设备发送的标记,所述云桌面服务端用于将对应标记的显示区域内的显示图像数据块优先传输给客户端显示设备进行显示。
8.根据权利要求7所述的一种基于用户视觉的图像传输系统,其特征在于,还包括视觉捕捉设备和视觉距离测量设备,所述视觉捕捉设备和视觉距离测量设备均连接所述客户端显示设备,所述客户端显示设备还包括方向分析模块和聚焦方向判断模块;
所述视觉捕捉设备用于捕捉用户的头部影像信息和瞳仁影像信息;
所述视觉距离测量设备用于测量用户头部和客户端显示设备之间的视觉距离;
所述方向分析模块用于根据用户的头部影像信息和瞳仁影像信息,分析得到头部方向和瞳仁方向;
所述聚焦方向判断模块用于根据头部方向和瞳仁方向,判断出用户眼睛的聚焦方向;
所述用户眼睛聚焦判断模块用于根据聚焦方向和视觉距离,判断用户眼睛所聚焦在客户端显示设备中的哪一个聚焦区域。
9.根据权利要求8所述的一种基于用户视觉的图像传输系统,其特征在于,所述客户端显示设备还包括聚焦区域面积修改模块,所述云桌面服务端还包括显示区域面积修改模块;
所述聚焦区域面积修改模块用于根据用户眼睛所聚焦在其中一个聚焦区域的次数多少,对此聚焦区域的面积进行修改,包括:若用户眼睛所聚焦在其中一个聚焦区域的次数越多,则所述聚焦区域面积修改模块将此聚焦区域的面积增大;若用户眼睛所聚焦在其中一个聚焦区域的次数越少,则所述聚焦区域面积修改模块将此聚焦区域的面积减少;
所述显示区域面积修改模块用于:当所述聚焦区域面积修改模块对聚焦区域的面积进行修改后,对应地,显示区域面积修改模块将相同标记的显示区域面积进行同样的面积修改。
CN202010930180.9A 2020-09-07 2020-09-07 一种基于用户视觉的图像传输方法及其系统 Active CN111813228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010930180.9A CN111813228B (zh) 2020-09-07 2020-09-07 一种基于用户视觉的图像传输方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010930180.9A CN111813228B (zh) 2020-09-07 2020-09-07 一种基于用户视觉的图像传输方法及其系统

Publications (2)

Publication Number Publication Date
CN111813228A true CN111813228A (zh) 2020-10-23
CN111813228B CN111813228B (zh) 2021-01-05

Family

ID=72860658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010930180.9A Active CN111813228B (zh) 2020-09-07 2020-09-07 一种基于用户视觉的图像传输方法及其系统

Country Status (1)

Country Link
CN (1) CN111813228B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339037A (zh) * 2021-12-23 2022-04-12 臻迪科技股份有限公司 一种自动对焦的方法、装置、设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103685539A (zh) * 2013-12-23 2014-03-26 中国航天科工集团第二研究院七〇六所 一种在国产处理器平台上运行Windows系统的方法
CN103869946A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种显示控制方法和电子设备
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN106652972A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN107515669A (zh) * 2016-06-17 2017-12-26 北京小米移动软件有限公司 显示方法及装置
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据
CN108469893A (zh) * 2018-03-09 2018-08-31 海尔优家智能科技(北京)有限公司 显示屏的控制方法、装置、设备及计算机可读存储介质
CN110072121A (zh) * 2018-01-23 2019-07-30 南京大学 一种适应人眼感知情况的沉浸式媒体数据传输方法
CN110199489A (zh) * 2016-12-20 2019-09-03 伟视达电子工贸有限公司 数据传输方法和数据传输设备
CN111367409A (zh) * 2020-02-27 2020-07-03 昆山国显光电有限公司 显示控制方法及显示控制装置、终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103869946A (zh) * 2012-12-14 2014-06-18 联想(北京)有限公司 一种显示控制方法和电子设备
CN103685539A (zh) * 2013-12-23 2014-03-26 中国航天科工集团第二研究院七〇六所 一种在国产处理器平台上运行Windows系统的方法
CN103885592A (zh) * 2014-03-13 2014-06-25 宇龙计算机通信科技(深圳)有限公司 一种在屏幕上显示信息的方法及装置
CN108463765A (zh) * 2016-04-08 2018-08-28 谷歌有限责任公司 基于姿势信息在头戴式显示装置处编码图像数据
CN107515669A (zh) * 2016-06-17 2017-12-26 北京小米移动软件有限公司 显示方法及装置
CN110199489A (zh) * 2016-12-20 2019-09-03 伟视达电子工贸有限公司 数据传输方法和数据传输设备
CN106652972A (zh) * 2017-01-03 2017-05-10 京东方科技集团股份有限公司 显示屏的处理电路、显示方法及显示器件
CN110072121A (zh) * 2018-01-23 2019-07-30 南京大学 一种适应人眼感知情况的沉浸式媒体数据传输方法
CN108469893A (zh) * 2018-03-09 2018-08-31 海尔优家智能科技(北京)有限公司 显示屏的控制方法、装置、设备及计算机可读存储介质
CN111367409A (zh) * 2020-02-27 2020-07-03 昆山国显光电有限公司 显示控制方法及显示控制装置、终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339037A (zh) * 2021-12-23 2022-04-12 臻迪科技股份有限公司 一种自动对焦的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111813228B (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
WO2020015468A1 (zh) 一种图像传输方法、装置、终端设备及存储介质
CN111552076B (zh) 一种图像显示方法、ar眼镜及存储介质
US20190004600A1 (en) Method and electronic device for image display
WO2020020022A1 (zh) 视觉识别方法及其系统
US20040003409A1 (en) Rendering system and method for images having differing foveal area and peripheral view area resolutions
US20190340780A1 (en) Engagement value processing system and engagement value processing apparatus
CN105787884A (zh) 一种图像处理方法及电子设备
US20170372679A1 (en) Mobile Terminal for Automatically Adjusting a Text Size and a Method Thereof
CN110837750B (zh) 一种人脸质量评价方法与装置
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
WO2022267573A1 (zh) 裸眼3d显示模式的切换控制方法、介质和系统
CN111813228B (zh) 一种基于用户视觉的图像传输方法及其系统
Oyekoya et al. Eye tracking as a new interface for image retrieval
JP6097919B2 (ja) 立体視映像のための画像表示システム及び3次元表示装置
CN109194952B (zh) 头戴式眼动追踪设备及其眼动追踪方法
US20100123716A1 (en) Interactive 3D image Display method and Related 3D Display Apparatus
CN106708249B (zh) 交互方法、交互装置及用户设备
CN111642939A (zh) 一种智能镜
CN111417888B (zh) 头戴式显示设备及其调节控制方法
CN114615484B (zh) 一种基于视网膜监视的视域跟踪定位系统
US20120044338A1 (en) Visual aiding system based on analysis of visual attention and visual aiding method for using analysis of visual attention
US11243609B2 (en) Information processing apparatus, information processing method, and program
CN113960788B (zh) 图像显示方法、装置、ar眼镜及存储介质
JP2006277209A (ja) メッセージ伝達装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant