发明内容
有鉴于此,需提供一种视频终端设备,可通过判断用户眼神意图来提高视频会议沟通效果。
此外,还需提供一种视频终端设备判断眼神意图的方法,通过判断用户眼神意图达到提高视频会议沟通效果的目的。
本发明实施方式提供的视频终端设备包括抓取模块、判断模块以及输出模块。抓取模块用于连续抓取用户凝视显示屏幕的眼球影像,以获取用户的三个视觉焦点位置,并以三个视觉焦点位置确定一个圆。判断模块用于判断圆的面积是否小于第一临界值。输出模块用于在圆的面积小于第一临界值时,将圆的圆心坐标作为眼神意图坐标点输出。
优选的,抓取模块还用于在圆的面积不小于第一临界值时,重新连续抓取三次视觉焦点位置以重新确定一个圆。
优选的,视频终端设备还包括接收模块,用于接收输出模块所输出的眼神意图坐标点并存储下来,并输出眼神意图坐标点在显示屏幕进行显示。
优选的,判断模块还用于判断是否存储有之前接收的眼神意图坐标点,并在没有存储有之前接收的眼神意图坐标点时,由接收模块以最新接收的来自输出模块所输出的眼神意图坐标点显示在显示屏幕上。
优选的,判断模块还用于在接收模块存储有之前接收的眼神意图坐标点时,比较接收模块所接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的的距离是否小于第二临界值,并在所接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的距离不小于第二临界值时,由接收模块更新之前接收的眼神意图坐标点为所接收的眼神意图坐标点,并由接收模块输出所接收的眼神意图坐标点在显示屏幕进行显示。
优选的,接收模块还用于在所接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的距离小于第二临界值,不更新之前接收的眼神意图坐标点,并由接收模块将之前接收的眼神意图坐标点在显示屏幕上显示。
优选的,判断模块还用于判断输出模块所输出的眼神意图坐标点与用户当前的眼神意图坐标点之间的距离是否小于第三临界值,并在输出模块所输出的眼神意图坐标点与用户当前的眼神意图坐标点之间的距离小于第三临界值时,由接收模块将接收的输出模块所输出的眼神意图坐标点显示在显示屏幕内表征听讲者认真听讲的区域,而在输出模块所输出的眼神意图坐标点与用户当前的眼神意图坐标点之间的距离不小于第三临界值时,接收模块将接收的输出模块所输出的眼神意图坐标点显示在显示屏幕内表征听讲者没有认真听讲的区域。
本发明实施方式提供的视频终端设备判断眼神意图的方法,包括:连续抓取用户凝视显示屏幕的眼球影像,以获取用户的三个视觉焦点位置,并以三个视觉焦点位置确定一个圆;判断圆的面积是否小于第一临界值;在圆的面积小于第一临界值时,将圆的圆心坐标作为眼神意图坐标点输出。
优选的,视频终端设备判断眼神意图的方法还包括,在圆的面积不小于第一临界值时,重新连续抓取三次视觉焦点位置以重新确定一个圆。
优选的,视频终端设备判断眼神意图的方法还包括,接收所输出的眼神意图坐标点并存储下来,并输出眼神意图坐标点在显示屏幕进行显示。
优选的,视频终端设备判断眼神意图的方法还包括,判断是否存储有之前接收的眼神意图坐标点,并在没有存储有之前接收的眼神意图坐标点时,以最新接收的来自输出模块所输出的眼神意图坐标点显示在显示屏幕上。
优选的,视频终端设备判断眼神意图的方法还包括,在存储有之前接收的眼神意图坐标点时,比较所接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的的距离是否小于第二临界值,并在所接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的距离不小于第二临界值时,更新之前接收的眼神意图坐标点为所接收的眼神意图坐标点,并输出所接收的眼神意图坐标点在显示屏幕进行显示。
优选的,视频终端设备判断眼神意图的方法还包括,在所接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的距离小于第二临界值,不更新之前接收的眼神意图坐标点,并将之前接收的眼神意图坐标点在显示屏幕上显示。
优选的,视频终端设备判断眼神意图的方法还包括,判断所输出的眼神意图坐标点与用户当前的眼神意图坐标点之间的距离是否小于第三临界值,并在所输出的眼神意图坐标点与用户当前的眼神意图坐标点之间的距离小于第三临界值时,将所输出的眼神意图坐标点显示在显示屏幕内表征听讲者认真听讲的区域,而在所输出的眼神意图坐标点与用户当前的眼神意图坐标点之间的距离不小于第三临界值时,将所输出的眼神意图坐标点显示在显示屏幕内表征听讲者没有认真听讲的区域。
本发明视频终端设备及其判断眼神意图的方法能在主讲者与听讲者之间建立一个可见的交流平台,通过摄像设备的抓取眼球并进行分析与判断能有效的判断视频会议与会者的眼神注视状态,提高视频会议良好的沟通效果。
具体实施方式
参阅图1,所示为本发明视频终端设备10一实施方式的应用环境图。在本实施方式中,视频终端设备10连接多个外围设备,包括摄像设备20、显示屏幕30以及声音输入输出设备40,同时还与互联网50连接,以得到网络的支持。摄像设备20和显示屏幕30能提供视频会议时影像的处理,声音输入输出设备40能对音频进行即时的输入输出。在本实施方式中,视频终端设备10在这些外围设备的支持下,能够通过抓取眼球注视点,进而判断眼神注视的专注度,从而有效的在视频会议过程中清楚的掌握与会者所关注的位置以及与会者对于视频会议的专注度。在其他实施方式中,这些外围设备也可以部分或全部的直接集成到视频终端设备10中。
参阅图2,所示为本发明视频终端设备10一实施方式的功能模块图。在本实施方式中,视频终端设备10包括抓取模块210、判断模块220、输出模块230。抓取模块210用于连续抓取用户凝视显示屏幕10的眼球影像,以获取用户的三个视觉焦点位置,并以三个视觉焦点位置确定一个圆。判断模块220用于判断所述圆的面积是否小于第一临界值。输出模块230用于在圆的面积小于所述第一临界值时,将所述圆的圆心坐标作为眼神意图坐标点输出。作为本发明实施例之进一步改进,视频终端设备10可进一步包括接收模块250,用于接收输出模块230所输出的眼神意图坐标点并存储下来,并输出眼神意图坐标点在显示屏幕30进行显示。
参阅图3,所示为本发明视频终端设备12另一实施方式的功能模块图。在本实施方式中,视频终端设备12包括抓取模块310、判断模块320、输出模块330、接收模块350、处理器360以及存储器370。其中,抓取模块310、判断模块320、输出模块330以及接收模块350可以是软件程序,其所实现的功能与图2所示的实施例一致,这些软件程序都存储在存储器370中,处理器360执行软件程序以实现这些模块的功能。
下面以图2所示的实施方式为例对本案的技术方案进行详细说明。
在本实施方式中,在进行视频会议时,视频终端设备10内的功能模块就会抓取每一个视频会议参与者的眼球影像来判断这些参与者的眼神意图。现在以主讲者作为第一视角来讲述本发明视频终端设备10是如何判断主讲者的眼神意图,并将表征眼神意图的眼神意图坐标点显示在显示屏幕30让听讲者能够看到主讲者的眼神意图,从而了解主讲者讲述的视频会议内容的重点。
在本实施方式中,当主讲者在对显示屏幕30显示内容(显示屏幕30显示内容可以是简报,以下用简报来代替显示屏幕30显示内容)进行讲解时,往往会针对某些重要问题进行重点讲述,这时,主讲者的眼神会注视简报中某一点较长时间,此时,抓取模块210就会抓取主讲者的眼球影像,来获得主讲者视觉焦点位置,为了更准确的知道主讲者的眼神意图也为了防止由于主讲者人体移动与误差导致的微移动,这样,抓取模块210还会连续抓取主讲者的不同的三次视觉焦点位置,而这不同的三次视觉焦点位置在显示屏幕30上显示的就是三个点,抓取模块210然后依据这三点不同视觉焦点位置,依据简单数据知识即可得到通过这三个不同焦点位置的圆,同时也可以确定这个圆的圆心位置,在本实施方式中,将这个圆的圆心作为主讲者的眼神意图坐标点。
现在来看一下,抓取模块210抓取三次不同的焦点位置所形成的圆会有哪些不同情况,请参阅图4,图4为本发明抓取模块210抓取三次视觉焦点位置形成的圆的不同情况示意图。图4中有三个例子,在例子1中,抓取模块210抓取的三次不同的焦点位置从P1到P2,再从P2到P3,可见,P1、P2和P3三点形成的圆的面积比较小,表示主讲者眼神注视点变化不大,而例子2和例子3中,P4到P5再到P6以及P7到P8再到P9,都有一定程度的偏移,表示主讲者眼神注视点有较大变化。
请继续参阅图2,待确定了主讲者三次不同的视觉焦点位置形成的圆后,判断模块220就会判断这个圆的面积是否小于第一临界值。其中,第一临界值是由人为设定并存储在网络存储设备中的一个具体数值,可依据用户的喜好来设定。在这个圆的面积小于第一临界值时,输出模块230就会将圆的圆心作为主讲者的眼神意图坐标点输出。在这个圆的面积不小于第一临界值时,抓取模块210重新连续抓取主讲者的三次不同的视觉焦点位置直至重新确定的一个圆的面积小于第一临界值。
请再参阅图4,例子1中圆的面积比较小,假设此时圆的面积小于第一临界值,说明此时主讲者的眼神持续注视着某一特定坐标点附近,也就是说主讲者注视的位置就是主讲者正在讲述的重要的内容,此时输出模块230输出主讲者的眼神意图坐标点在显示屏幕30上让听讲者清楚知道主讲者讲述的内容在简报上的对应位置。而例子2的圆的面积比较大,假设此时圆的面积大于第一临界值,说明此时主讲者的视线并不是集中在某一个位置,也就是说主讲者所讲述的内容从一个地方移至另外地方,此时抓取模块210就会继续连续抓取主讲者的三次不同的视觉焦点位置。而例子三也是圆的面积大于第一临界值的情况,这是主讲者频繁移动视觉的情况,同例子2一样进行处理。
这样,一旦圆的面积小于第一临界值时,就会由输出模块230输出眼神意图坐标点,一旦圆的面积不小于第一临界值,就会由抓取模块210继续抓取三次不同视觉焦点位置,这样循环下来,直至能够输出眼神意图坐标点,也就是说,最终的目的就是为了在屏幕上显示主讲者讲述的内容在简报上的对应位置,从而帮助听讲者更好的理解主讲者的意思,有助于提高视频会议沟通效果。
请继续参阅图2,当主讲者的眼神意图坐标点被输出后,听讲者是如何接收到这一信息的呢?现在以听讲者作为第一视角来讲述如何接收来自主讲者的眼神意图坐标点。
当主讲者一方的视频终端设备10发送主讲者的眼神意图坐标点之后,处于听讲者一方的视频终端设备10中的接收模块250先会接收到眼神意图坐标点,如果之前没有接收过来自主讲者的其他眼神意图坐标点,则将此时接收的眼神意图坐标点作为最新的眼神意图坐标点,如果之前已经接收过主讲者的其他眼神意图坐标点,则比较这次接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的差异,若这次接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的距离小于第二临界值,则不更新眼神意图坐标点,也就是说依然需采用之前的眼神意图坐标点作为判断标准来判断主讲者的眼神意图,若这次接收的眼神意图坐标点与之前接收的眼神意图坐标点之间的距离不小于第二临界值,则更新之前的眼神意图坐标点为当前接收的眼神意图坐标点,也就是说,眼神意图坐标点的差异较大,进而说明主讲者的眼神意图发生了较大的变化,因此需要改变接收的眼神意图坐标点,作出更加正确的判断和接收正确的信息。
以上提到的是视频终端设备10输出主讲者的眼神意图坐标点并由听讲者接收,现在来看一下视频终端设备10输出听讲者的眼神意图坐标点并由主讲者接收的情况。
在本实施方式中,当上述主讲者的眼神意图是显示屏幕30的某一点时,抓取模块210就会抓取听讲者此时的视觉焦点位置,后续的功能模块在处理听讲者的眼神意图方法与上述处理主讲者的眼神意图的方法一样,在此不再赘述。而当听讲者的眼神意图坐标被输出之后,主讲者所在的视频终端设备10接收到听讲者的眼神意图坐标点之后的处理方式与上述听讲者接收到主讲者眼神意图坐标点的处理方式有所不同。
在本实施方式中,当处于主讲者所在的视频终端设备10的接收模块250接收到听讲者的眼神意图坐标点之后,会比较接收的眼神意图坐标点与主讲者此时的眼神意图坐标点的差异,如果接收的眼神意图坐标点与主讲者此时的眼神意图坐标点的距离小于第三临界值,则将接收的眼神意图坐标点显示在显示屏幕30内表征听讲者认真听讲的区域内,如果接收的眼神意图坐标点与主讲者此时的眼神意图坐标点的距离不小于第三临界值,则将接收的眼神意图坐标点显示在显示屏幕30内表征听讲者没有认真听讲的区域内。这样主讲者就能通过显示在显示屏幕30内表征不同听讲类型的数量来判断有多少的听讲者有认真听取视频会议内容。这样,在远距离教学时,讲师能清楚的知道认真听讲学生的数量,从而更好地改变教学方法和了解学生的动态。
参阅图5,所示为本发明视频终端设备10输出眼神意图坐标点的方法一实施方式的流程图。本方法由图2或图3的视频终端设备10内的功能模块完成。在本实施方式中,以图2中的功能模块进行说明。
在步骤S500,抓取模块210连续抓取用户凝视显示屏幕30的眼球影像,以获取用户的三个视觉焦点位置,并以三个视觉焦点位置确定一个圆。
在步骤S502,判断模块220判断这个圆的面积是否小于第一临界值。
在步骤S504,如果这个圆的面积是否小于第一临界值,则输出模块230将圆的圆心作为用户的眼神意图坐标点输出。在不同的实施方式中,输出模块230可将眼神意图坐标点输出到显示屏幕30供显示屏幕30显示,也可以输出到其他的视频终端设备10。
而当这个圆的面积不小于第一临界值时,则继续步骤S500,抓取模块210继续连续抓取用户的三次不同的视觉焦点位置,直至抓取的三个不同视觉焦点形成的圆的面积小于第一临界值。这样做的目的主要是更准确的知道用户的眼神意图,也为了防止由于用户和人体移动与误差导致的微移动。
综上,通过这样的循环抓取和判断就能准确的判断出用户专注度高的时候的眼神意图坐标点并输出。
参阅图6,所示为本发明听讲者所使用的视频终端设备10处理主讲者眼神意图坐标点的方法一实施方式的流程图。本方法由图2或图3的视频终端设备10内的功能模块共同协作完成。在不同的实施方式中,听讲者与主讲者可以分别使用不同的视频终端设备10,也可以使用同一视频终端设备10。需要注意的是,任一端的视频终端设备10都包含听讲者端的功能,同时也包括了主讲者端的功能。在本实施方式中,用图2中的功能模块进行说明。
在步骤S600,接收模块250接收主讲者的眼神意图坐标点并存储下来。
在步骤S602,判断模块220判断之前是否有接收过主讲者的眼神意图坐标点,如果没有,则执行S606,接收模块250直接将接收到的这个眼神意图坐标点输出给显示屏幕30显示。当然在其他实施方式中,显示屏幕30也可以依据该眼神意图坐标点在显示屏幕30上做其他的显示,并不局限于只显示坐标点。
如果之前有接收过主讲者的眼神意图坐标点,则在步骤S604,判断模块220判断当前接收的眼神意图坐标点与之前的眼神意图坐标点之间的距离是否小于第二临界值。此处第二临界值与第一临界值一样,都是是由人为设定并存储在网络存储设备中的一个具体数值,可依据用户的喜好来设定。
如果当前接收的眼神意图坐标点与之前的眼神意图坐标点之间的距离小于第二临界值,则在步骤S608,不用更新眼神意图坐标点,接收模块250将之前接收的眼神意图坐标点显示在显示屏幕30上。
如果当前接收的眼神意图坐标点与之前的眼神意图坐标点之间的距离不小于第二临界值,则在S606,接收模块250将当前接收的眼神意图坐标点显示在显示屏幕30上。
这样就可以通过显示屏幕30上的眼神意图坐标点来判断来自发送端也就是主讲者的眼神意图,从而更好地理解和掌握主讲者讲述的内容以及准备判断主讲者讲述的重点,有效地提高了视频会议的沟通效果。
参阅图7,所示为本发明主讲者所使用的视频终端设备10处理听讲者眼神意图坐标点的方法一实施方式的流程图。本方法由图2或图3的视频终端设备10内的功能模块共同协作完成。在不同的实施方式中,听讲者与主讲者可以分别使用不同的视频终端设备10,也可以使用同一视频终端设备10。需要注意的是,任一端的视频终端设备10都包含听讲者端的功能,同时也包括了主讲者端的功能。在本实施方式中,用图2中的功能模块进行说明。
在步骤S700,接收模块250接收听讲者的眼神意图坐标点并存储下来。
在步骤S702,判断模块220判断接收到的眼神意图坐标点与主讲者当前的眼神意图坐标点之间的距离是否小于第三临界值。此处第三临界值与第一临界值一样,都是是由人为设定并存储在网络存储设备中的一个具体数值,可依据用户的喜好来设定。
如果接收到的眼神意图坐标点与主讲者当前的眼神意图坐标点之间的距离不小于第三临界值,则执行步骤S704,将接收的眼神意图坐标点显示在显示屏幕30内表征听讲者没有认真听讲的区域内。
如果接收到的眼神意图坐标点与主讲者当前的眼神意图坐标点之间的距离小于第三临界值,则执行步骤S706,将接收的眼神意图坐标点显示在显示屏幕30内表征听讲者认真听讲的区域内。
通过以上的处理,主讲者就能通过显示在显示屏幕30内表征不同听讲类型的数量来判断有多少的听讲者有认真听取视频会议内容。这样还可以运用到远距离教学时,讲师能清楚的知道认真听讲学生的数量,从而更好地改变教学方法和了解学生的动态。
以上是对本发明所提供的视频终端设备及其判断眼神意图的方法进行了详细介绍,本文中应用到了具体实施例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的发明方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围均会由改变之处,综上所述,本发明内容不应理解为对本发明的限制。