CN109739355A - 一种基于人脸姿态判断进行页面切换的方法 - Google Patents
一种基于人脸姿态判断进行页面切换的方法 Download PDFInfo
- Publication number
- CN109739355A CN109739355A CN201811636539.0A CN201811636539A CN109739355A CN 109739355 A CN109739355 A CN 109739355A CN 201811636539 A CN201811636539 A CN 201811636539A CN 109739355 A CN109739355 A CN 109739355A
- Authority
- CN
- China
- Prior art keywords
- page
- human face
- posture
- face
- face posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一种基于人脸姿态判断进行页面切换的方法,包括如下步骤:(1)定义页面之间的切换动作;(2)浏览过程中打开摄像头采集视频帧;(3)采集视频以单帧数据流的方式输入到人脸识别和人脸姿态检测的系统中,对比采集到的人脸是否为预设的人脸;(4)人脸识别系统判断人脸姿态的行为,并记录每个姿态动作的起始位置和结束位置;(5)根据姿态以及起始和结束的人脸姿态为止判断人脸姿态动作;(6)根据判断结果响应切换动作,完成页面切换。本发明利用现有摄像头采集人脸姿态动作,经过人脸姿态判断系统给出的姿态值,利用坐标集合计算判断上下、左右的行为和防止“恢复状态”对页面行为的冲突影响,进而控制窗体化应用页面的切换,实用性强。
Description
技术领域
本发明涉及页面切换交互技术领域,具体涉及一种基于人脸姿态判断进行页面切换的方法。
背景技术
数字智能化时代的发展,人脸的姿态识别已经能够准确的识别出人脸的基本姿态,如“摇头”、“点头”等,而这些姿态的识别通常应用在“活体识别”中。
现在的窗体化应用中,页面与页面之间的切换通常依赖于不同的输入设备进行实现,如电脑PC端的键盘和鼠标设备,在智能移动终端的触摸屏设备在传统的页面交互切换中,需要用户进行手动的操作诸如键盘、鼠标、触摸屏等输入设备;然而在越来越智能化的时代,应该让用户在基本的操作中释放双手,使用更加智能和更加便利的方式响应用户的基本交互需求,如页面切换。作为一种在窗体化应用中最为频繁的交互方式之一就是进行不同之间的页面切换了。如经常在智能化移动设备中进行图片浏览,我们需要使用手势对上一张或者下一张的图片进行切换查看;又如在应用中从当前页面跳转到上级页面(返回操作);这些都是基本的页面切换操作。而目前的人脸姿态判断系统往往只能判断用户是摇头还是点头,无法判断用户是从左开始摇头还是从右边开始摇头;也无法判断用户是从下向上的点头还是从上向下的点头。
本发明意在提供一种新式的页面切换方式,利用人脸姿态的判断,得到多于两种的姿态判断,进而控制窗体化应用页面的切换,它基于人脸的姿态判断,用户在查看显示屏的同时可以根据头部动作操作页面之间的切换,是一种更为智能和便利的操作模式。这种页面之间的切换方式更为便利的体现在了目前的大型显示设备的操作中,如目前的大屏幕显示平板、电视机、投影仪等,可以大大的提升用户的体验效果。
发明内容
基于此,本发明在于克服现有技术的缺陷,提供一种基于人脸姿态判断进行页面切换的方法,根据人脸姿态判断系统我们对摇头、上下点头进行进一步的计算来响应不同的左右切换、上下切换的动作。
为实现上述目的,本发明需要依赖于设备中的摄像头硬件和人脸识别系统以及带有人脸姿态判断的识别系统,可以通过以下技术方案予以实现:
一种基于人脸姿态判断进行页面切换的方法,包括如下步骤:
(1)定义页面之间的切换动作;
(2)窗体化应用的浏览过程中,打开设备的前置摄像头,采集视频帧;
(3)步骤(2)中采集到的视频以单帧数据流的方式输入到人脸识别和人脸姿态检测的系统中,对比采集到的人脸是否为预设的人脸;确保只允许在预设中的用户(人脸)才能够有权限执行本发明中的页面切换操作;
(4)人脸识别系统判断人脸姿态的行为,记录每个姿态动作的起始位置和结束位置;
(5)根据姿态以及起始和结束的人脸姿态为止判断人脸姿态动作;
(6)根据步骤(5)中得到的判断结果,分别响应步骤(1)中定义的切换动作,进而完成页面的切换。
进一步地,步骤(1)中,定义页面之间的切换动作包括四种:
①从左至右:返回到上一页;响应该事件则说明页面从左方加载到当前屏幕窗体的可视区域中;
②从右至左:加载下一页内容;响应该事件则说明页面从右方加载到当前屏幕窗体的可视区域中;
③从上至下:从上向下拖动;响应该事件则说明页面从上方加载至当前屏幕窗体的可视区域中;
④从下至上:从下至上拖动;响应该事件说明加载的页面从屏幕或者窗体的底部向上加载到当前屏幕窗体的可视化区域中。
进一步地,步骤(3)中,使用者需提前录入预设人脸,当人脸识别系统对比采集到的人脸为预设人脸时,进入下一步操作;当人脸识别系统对比采集到的人脸为预设人脸不是预设人脸时,则发出提示,并返回步骤(2)中重新采集视频帧。
进一步地,步骤(4)中,人脸识别系统判断人脸姿态的行为,记录每个姿态动作的起始位置和结束位置,分别为p1和p2;在人脸姿态检测到一个用户的人脸动作的开始时候要求返回人脸中心点的坐标值,记录为p1;结束位置的值需要进行计算得到。
进一步地,步骤(4)中,由于人脸的每个动作都是连贯的,需要进行进一步的计算以精确用户想要的交互效果和方式;具体地,人脸从开始的状态至完成一个动作至其临界点后,会从其临界点逐渐恢复至开始的状态,将这种恢复至初始状态的行为定义为“恢复状态”,并在判断人脸姿态时过滤该“恢复状态”,只会判断用户一次连续人脸姿态动作中的第一个动作而忽略恢复的动作,以避免因为“恢复状态”导致的页面加载冲突。
进一步地,步骤(4)中,结束位置的值需要进行计算得到,具体地,记录一个完整的人脸姿态的行为从开始到这个行为结束的所有坐标值,并保存为一个动作的坐标集合;在用户左右摇头中我们只判断这个集合里面的横轴坐标的值和开始坐标p1的横轴坐标的值,取集合的最大横轴坐标和最小横轴坐标与p1的横轴坐标进行比较,得到对应的p2和结果;如果是上下点头我们则只判断集合中的纵轴坐标值和p1点的纵轴坐标的值,取集合的最大纵轴坐标和最小纵轴坐标与p1的纵轴坐标进行比较,得到对应的p2和结果。
进一步地,步骤(5)中,根据姿态以及起始和结束的人脸姿态为止判断出以下四种情况:
①从左到右摇头:X(p2)>X(p1);
②从右到左摇头:X(p1)>X(p2);
③从上向下点头:Y(p2)>Y(p1);
④从下向上仰头:Y(p1)>Y(p2);
注明:X为屏幕标准坐标中的横轴坐标,Y为屏幕标准坐标中的纵轴坐标;X(p1)代表的是p1点的横轴坐标值,X(p2)代表的是p2点的横轴坐标值;Y(p1)代表的是p1点的纵轴坐标值,Y(p2)代表的是p2点的纵轴坐标值。
进一步地,步骤(6)中,根据步骤(5)中得到的判断结果,分别响应步骤(1)中四种不同的切换:
①从左至右:返回到上一页;响应该事件则说明页面从左方加载到当前屏幕窗体的可视区域中;
②从右至左:加载下一页内容;响应该事件则说明页面从右方加载到当前屏幕窗体的可视区域中;
③从上至下:从上向下拖动;响应该事件则说明页面从上方加载至当前屏幕窗体的可视区域中;
④从下至上:从下至上拖动;响应该事件说明加载的页面从屏幕或者窗体的底部向上加载到当前屏幕窗体的可视化区域中。
本发明的有益效果是:
1、本发明利用现在设备中的摄像头采集人脸姿态动作,经过人脸姿态判断系统给出的姿态值,响应不同的页面切换的动作;
2、利用坐标集合计算判断上下、左右的行为和防止“恢复状态”对页面行为的冲突影响,克服目前人脸姿态判断系统往往只能判断用户是摇头还是点头的问题;
3、并基于设备中的摄像头硬件、人脸识别系统以及带有人脸姿态判断的识别系统,利用坐标集合计算判断上下、左右的行为,进而控制窗体化应用页面的切换,实用性强。
4、本发明可适用于当前的屏幕显示平板、电视机、投影仪等大型显示设备及其他小型显示设备,可以大大的提升用户的体验效果。
附图说明
图1为本发明实施例的执行流程图;
图2为本发明实施例判断姿态的流程图;
图3为本发明实施例中从左至右页面切换情况;
图4为本发明实施例中从右至左页面切换情况;
图5为本发明实施例中从上至下页面切换情况;
图6为本发明实施例中从下至上页面切换情况;
具体实施方式
为了使本发明专利的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明专利进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明专利,并不用于限定本发明专利。
实施例:
如图1、图2所示,一种基于人脸姿态判断进行页面切换的方法,包括如下步骤:
(1)定义四种页面之间的切换动作,具体如下:
①从左至右:返回到上一页;响应该事件则说明页面从左方加载到当前屏幕窗体的可视区域中;(从左至右页面切换情况如图3所示)
②从右至左:加载下一页内容;响应该事件则说明页面从右方加载到当前屏幕窗体的可视区域中;(从右至左页面切换情况如图4所示)
③从上至下:从上向下拖动;响应该事件则说明页面从上方加载至当前屏幕窗体的可视区域中;(从上至下页面切换情况如图5所示)
④从下至上:从下至上拖动;响应该事件说明加载的页面从屏幕或者窗体的底部向上加载到当前屏幕窗体的可视化区域中。(从下至上页面切换情况如图6所示)
(2)窗体化应用的浏览过程中,打开设备的前置摄像头,采集视频帧;假设在绝大部分进行对设备操作的过程中,用户都是手持该设备或者在该设备的前方,而该设备则必须配备前置摄像头以获得对人脸数据的采集。
(3)步骤(2)中采集到的视频以单帧数据流的方式输入到人脸识别和人脸姿态检测的系统中,对比采集到的人脸是否为预设的人脸;这一步骤目的是为了识别当前的人脸是否为预设人脸,防止因多人脸或者其他人脸对操作的影响;使用者需提前录入预设人脸,当人脸识别系统对比采集到的人脸为预设人脸时,进入下一步操作;当人脸识别系统对比采集到的人脸为预设人脸不是预设人脸时,则发出提示,并返回步骤(2)中重新采集视频帧,确保只允许在预设中的用户(人脸)才能够有权限执行本发明中的页面切换操作。
(4)人脸识别系统判断人脸姿态的行为,记录每个姿态动作的起始位置和结束位置;分别为p1和p2;在人脸姿态检测到一个用户的人脸动作的开始时候要求返回人脸中心点的坐标值,记录为p1;结束位置的值需要进行计算得到:
①人脸的每个动作都是连贯的,比如摇头动作,无论从左到右开始还是从右到左开始,都会同时触发这两种动作;为了得到准确的值,我们需要进行进一步的计算以精确用户想要的交互效果和方式;
②人脸从开始的状态至完成一个动作至其临界点后,会从其临界点逐渐恢复至开始的状态,将这种恢复至初始状态的行为定义为“恢复状态”,并在判断人脸姿态时过滤该“恢复状态”,只会判断用户一次连续人脸姿态动作中的第一个动作而忽略恢复的动作,以避免因为“恢复状态”导致的页面加载冲突。假如用户想要交互的是从左往右,那么开始时刻人脸应该是从左边开始向右方摇动,当摇动到一个临界值的时候,会从右向左摇头以恢复人脸至开始的状态;我们将这种后面从右至左摇动以恢复初始状态的行为定义为“恢复状态”;同样的如果是从右至左,那么“恢复状态”的行为应该就是从左至右;如果不对“恢复状态”进过滤,那么就会响应两次页面切换,并且是互相反向的操作。
③在以上子步骤②中已进行“恢复状态”的定义,并记录一个完整的人脸姿态的行为从开始到这个行为结束的所有坐标值,保存为一个动作的坐标集合。在用户左右摇头中我们只判断这个集合里面的横轴坐标的值和开始坐标p1的横轴坐标的值;取集合的最大横轴坐标和最小横轴坐标与p1的横轴坐标进行比较,得到对应的p2和结果,详细流程请参加附图2。同样的如果是上下点头我们则只判断集合中的纵轴坐标值和p1点的纵轴坐标的值,取集合的最大纵轴坐标和最小纵轴坐标与p1的纵轴坐标进行比较,得到对应的p2和结果。
注明:人脸是属于左右摇头还是上下点头为人脸姿态检测系统返回。
(5)根据人脸姿态判断得到的结果,目前人脸姿态返回得到的结果为以下两种:①左右摇头;②上下点头;人脸是属于左右摇头还是上下点头由人脸姿态检测系统直接返回,但是现有人脸姿态判断系统无法判断用户是从左开始摇头还是从右边开始摇头;也无法判断用户是从下向上的点头还是从上向下的点头。因此,本实施例中还需要进行下一步的计算判断。
(6)根据姿态以及起始和结束的人脸姿态为止判断出以下四种情况:
①从左到右摇头:X(p2)>X(p1);
②从右到左摇头:X(p1)>X(p2);
③从上向下点头:Y(p2)>Y(p1);
④从下向上仰头:Y(p1)>Y(p2);
注明:X为屏幕标准坐标中的横轴坐标,Y为屏幕标准坐标中的纵轴坐标;X(p1)代表的是p1点的横轴坐标值,X(p2)代表的是p2点的横轴坐标值;Y(p1)代表的是p1点的纵轴坐标值,Y(p2)代表的是p2点的纵轴坐标值。
(7)根据步骤(6)中得到的判断结果,分别响应步骤(1)中定义的四种切换动作,进而完成页面的切换,详见附图2。
本发明的有益效果是:
1、本发明利用现在设备中的摄像头采集人脸姿态动作,经过人脸姿态判断系统给出的姿态值,响应不同的页面切换的动作;
2、利用坐标集合计算判断上下、左右的行为和防止“恢复状态”对页面行为的冲突影响,克服目前人脸姿态判断系统往往只能判断用户是摇头还是点头的问题;
3、并基于设备中的摄像头硬件、人脸识别系统以及带有人脸姿态判断的识别系统,利用坐标集合计算判断上下、左右的行为,进而控制窗体化应用页面的切换,实用性强。
4、本发明可适用于当前的屏幕显示平板、电视机、投影仪等大型显示设备及其他小型显示设备,可以大大的提升用户的体验效果。
以上所述实施例及其他图例仅表达了本发明的一种实施方式,只是在于说明而不是限制本发明。对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。因此,本发明的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于人脸姿态判断进行页面切换的方法,其特征在于,包括如下步骤:
(1)定义页面之间的切换动作;
(2)窗体化应用的浏览过程中,打开设备的前置摄像头,采集视频帧;
(3)步骤(2)中采集到的视频以单帧数据流的方式输入到人脸识别和人脸姿态检测的系统中,对比采集到的人脸是否为预设的人脸;确保只允许在预设中的用户(人脸)才能够有权限执行本发明中的页面切换操作;
(4)人脸识别系统判断人脸姿态的行为,记录每个姿态动作的起始位置和结束位置;
(5)根据姿态以及起始和结束的人脸姿态为止判断人脸姿态动作;
(6)根据步骤(5)中得到的判断结果,分别响应步骤(1)中定义的切换动作,进而完成页面的切换。
2.根据权利要求1所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(1)中,定义页面之间的切换动作包括四种:
①从左至右:返回到上一页;响应该事件则说明页面从左方加载到当前屏幕窗体的可视区域中;
②从右至左:加载下一页内容;响应该事件则说明页面从右方加载到当前屏幕窗体的可视区域中;
③从上至下:从上向下拖动;响应该事件则说明页面从上方加载至当前屏幕窗体的可视区域中;
④从下至上:从下至上拖动;响应该事件说明加载的页面从屏幕或者窗体的底部向上加载到当前屏幕窗体的可视化区域中。
3.根据权利要求1所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(3)中,使用者需提前录入预设人脸,当人脸识别系统对比采集到的人脸为预设人脸时,进入下一步操作;当人脸识别系统对比采集到的人脸为预设人脸不是预设人脸时,则发出提示,并返回步骤(2)中重新采集视频帧。
4.根据权利要求2所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(4)中,人脸识别系统判断人脸姿态的行为,记录每个姿态动作的起始位置和结束位置,分别为p1和p2;在人脸姿态检测到一个用户的人脸动作的开始时候要求返回人脸中心点的坐标值,记录为p1;结束位置的值需要进行计算得到。
5.根据权利要求4所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(4)中,由于人脸的每个动作都是连贯的,需要进行进一步的计算以精确用户想要的交互效果和方式;具体地,人脸从开始的状态至完成一个动作至其临界点后,会从其临界点逐渐恢复至开始的状态,将这种恢复至初始状态的行为定义为“恢复状态”,并在判断人脸姿态时过滤该“恢复状态”,只会判断用户一次连续人脸姿态动作中的第一个动作而忽略恢复的动作,以避免因为“恢复状态”导致的页面加载冲突。
6.根据权利要求5所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(4)中,结束位置的值需要进行计算得到,具体地,记录一个完整的人脸姿态的行为从开始到这个行为结束的所有坐标值,并保存为一个动作的坐标集合;在用户左右摇头中我们只判断这个集合里面的横轴坐标的值和开始坐标p1的横轴坐标的值,取集合的最大横轴坐标和最小横轴坐标与p1的横轴坐标进行比较,得到对应的p2和结果;如果是上下点头我们则只判断集合中的纵轴坐标值和p1点的纵轴坐标的值,取集合的最大纵轴坐标和最小纵轴坐标与p1的纵轴坐标进行比较,得到对应的p2和结果。
7.根据权利要求6所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(5)中,根据姿态以及起始和结束的人脸姿态为止判断出以下四种情况:
①从左到右摇头:X(p2)>X(p1);
②从右到左摇头:X(p1)>X(p2);
③从上向下点头:Y(p2)>Y(p1);
④从下向上仰头:Y(p1)>Y(p2);
注明:X为屏幕标准坐标中的横轴坐标,Y为屏幕标准坐标中的纵轴坐标;X(p1)代表的是p1点的横轴坐标值,X(p2)代表的是p2点的横轴坐标值;Y(p1)代表的是p1点的纵轴坐标值,Y(p2)代表的是p2点的纵轴坐标值。
8.根据权利要求7所述的一种基于人脸姿态判断进行页面切换的方法,其特征在于,步骤(6)中,根据步骤(5)中得到的判断结果,分别响应步骤(1)中四种不同的切换:
①从左至右:返回到上一页;响应该事件则说明页面从左方加载到当前屏幕窗体的可视区域中;
②从右至左:加载下一页内容;响应该事件则说明页面从右方加载到当前屏幕窗体的可视区域中;
③从上至下:从上向下拖动;响应该事件则说明页面从上方加载至当前屏幕窗体的可视区域中;
④从下至上:从下至上拖动;响应该事件说明加载的页面从屏幕或者窗体的底部向上加载到当前屏幕窗体的可视化区域中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811636539.0A CN109739355A (zh) | 2018-12-29 | 2018-12-29 | 一种基于人脸姿态判断进行页面切换的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811636539.0A CN109739355A (zh) | 2018-12-29 | 2018-12-29 | 一种基于人脸姿态判断进行页面切换的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109739355A true CN109739355A (zh) | 2019-05-10 |
Family
ID=66362387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811636539.0A Withdrawn CN109739355A (zh) | 2018-12-29 | 2018-12-29 | 一种基于人脸姿态判断进行页面切换的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109739355A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114727120A (zh) * | 2021-01-04 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 直播音频流的获取方法、装置、电子设备及存储介质 |
-
2018
- 2018-12-29 CN CN201811636539.0A patent/CN109739355A/zh not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114727120A (zh) * | 2021-01-04 | 2022-07-08 | 腾讯科技(深圳)有限公司 | 直播音频流的获取方法、装置、电子设备及存储介质 |
CN114727120B (zh) * | 2021-01-04 | 2023-06-09 | 腾讯科技(深圳)有限公司 | 直播音频流的获取方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8339359B2 (en) | Method and system for operating electric apparatus | |
CN107479691B (zh) | 一种交互方法及其智能眼镜和存储装置 | |
EP3293620A1 (en) | Multi-screen control method and system for display screen based on eyeball tracing technology | |
US20140247216A1 (en) | Trigger and control method and system of human-computer interaction operation command and laser emission device | |
US8462113B2 (en) | Method for executing mouse function of electronic device and electronic device thereof | |
US20130328773A1 (en) | Camera-based information input method and terminal | |
US20090284469A1 (en) | Video based apparatus and method for controlling the cursor | |
CN110427151A (zh) | 一种控制用户界面的方法及电子设备 | |
WO2022237268A1 (zh) | 头戴式显示设备的信息输入方法、装置及头戴式显示设备 | |
JP2014211858A (ja) | ジェスチャに基づくユーザ・インターフェイスを提供するシステム、方法及びプログラム | |
CN112068698A (zh) | 一种交互方法、装置及电子设备、计算机存储介质 | |
CN111665938B (zh) | 应用启动方法及电子设备 | |
WO2022222510A1 (zh) | 交互控制方法、终端设备及存储介质 | |
WO2022156598A1 (zh) | 蓝牙连接方法、装置和电子设备 | |
CN103389876A (zh) | 基于触摸显示设备的功能切换方法及触摸显示设备 | |
CN113655929A (zh) | 界面显示的适配处理方法、装置和电子设备 | |
US9958946B2 (en) | Switching input rails without a release command in a natural user interface | |
JP5760886B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
CN105183538B (zh) | 一种信息处理方法及电子设备 | |
CN111124111A (zh) | 一种处理方法、电子设备 | |
CN109739355A (zh) | 一种基于人脸姿态判断进行页面切换的方法 | |
CN111991801A (zh) | 显示方法、装置及电子设备 | |
KR101360322B1 (ko) | 다양한 손모양 검출 및 추적을 기반으로 한 원격 전자칠판 제어 장치 및 그 방법 | |
CN112068699A (zh) | 一种交互方法、装置、电子设备和存储介质 | |
CN112162689B (zh) | 输入方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190510 |