CN104915004A - 一种体感控制屏幕滚动方法、体感交互系统及电子设备 - Google Patents

一种体感控制屏幕滚动方法、体感交互系统及电子设备 Download PDF

Info

Publication number
CN104915004A
CN104915004A CN201510307214.8A CN201510307214A CN104915004A CN 104915004 A CN104915004 A CN 104915004A CN 201510307214 A CN201510307214 A CN 201510307214A CN 104915004 A CN104915004 A CN 104915004A
Authority
CN
China
Prior art keywords
human body
screen
induction region
described human
interactive system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510307214.8A
Other languages
English (en)
Inventor
黄源浩
肖振中
钟亮洪
许宏淮
林靖雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201510307214.8A priority Critical patent/CN104915004A/zh
Publication of CN104915004A publication Critical patent/CN104915004A/zh
Priority to PCT/CN2016/076776 priority patent/WO2016192439A1/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种体感控制屏幕滚动方法、体感交互系统及电子设备。体感控制屏幕滚动方法包括:在体感交互系统激活状态下,采集人体部位的三维立体图像;将人体部位的三维立体图像进行特征提取获取特征参数,特征参数包括所述人体部位的三维坐标以及人体部位的运动轨迹;根据人体部位的三维坐标,判断人体部位是否进入预定感应区域;当人体部位进入预定感应区域时,控制屏幕根据人体部位的运动轨迹按照预定规则滚动。通过上述方式,本发明能够不需要依赖于外部输入设备,通过感应人体部位的空间动作,就能控制屏幕滚动,给用户更好的使用体验。

Description

一种体感控制屏幕滚动方法、体感交互系统及电子设备
技术领域
本发明人机交互领域,具体涉及一种体感控制屏幕滚动方法、体感交互系统及电子设备。
背景技术
人机交互技术是指通过输入输出设备,以有效的方式实现人与机器对话的技术。现有的人机交互的交互方式通常是通过鼠标、键盘、触摸屏或者手柄等外部设备与机器系统进行交互,机器系统再做出相应的响应。比如当需要控制屏幕滚动时,要么通过鼠标拖动实现屏幕滚动,要么通过人体部位如手指等在触摸屏上进行滑动实现屏幕滚动。
现有的控制屏幕滚动的方式,都必须与输入设备比如鼠标、触摸屏进行直接接触才能完成屏幕滚动操作,使得用户控制屏幕滚动的操作必须依赖于外部设备,束缚用户的行为方式,具体实现显得不自然,不真实。
发明内容
本发明主要解决的技术问题是提供一种体感控制屏幕滚动方法、体感交互系统及电子设备,能够不需要依赖外部输入设备,通过感应人体部位的动作,就能控制屏幕进行滚动。
为解决上述技术问题,本发明采用的一个技术方案是:提供一种体感控制屏幕滚动方法,所述方法包括:在体感交互系统激活状态下,采集人体部位的三维立体图像;将所述人体部位的三维立体图像进行特征提取获取特征参数,所述特征参数包括所述人体部位的三维坐标以及所述人体部位的运动轨迹;根据所述人体部位的三维坐标,判断所述人体部位是否进入预定感应区域;当所述人体部位进入预定感应区域时,控制屏幕根据所述人体部位的运动轨迹按照预定规则滚动。
其中,所述预定感应区域分为距离屏幕中心点预定距离的屏幕左侧感应区域、屏幕右侧感应区域、屏幕上侧感应区域以及屏幕下侧感应区域,所述预定距离大于0;所述控制屏幕根据所述人体部位的运动轨迹按照预定规则滚动包括:控制屏幕根据所述人体部位的运动轨迹以连续或离散的方式向所述预定感应区域方向滚动。
其中,所述方法还包括:当所述人体部位进入预定感应区域时,在屏幕上显示与所述人体部位同步移动的图标。
其中,所述方法还包括:当所述人体部位进入预定感应区域时,屏幕显示相应的提示。
其中,所述人体部位为人手。
为解决上述技术问题,本发明采用的另一个技术方案是:提供一种体感交互系统,所述系统包括采集模块、特征提取模块、判断模块以及控制模块,其中:所述采集模块用于在体感交互系统激活状态下,采集人体部位的三维立体图像;所述特征提取模块用于将所述人体部位的三维立体图像进行特征提取获取特征参数,所述特征参数包括所述人体部位的三维坐标以及所述人体部位的运动轨迹;所述判断模块用于根据所述人体部位的三维坐标,判断所述人体部位是否进入预定感应区域;所述控制模块用于,当所述人体部位进入预定感应区域时,控制屏幕根据所述人体部位的运动轨迹按照预定规则滚动。
其中,所述预定感应区域分为距离屏幕中心点预定距离的屏幕左侧感应区域、屏幕右侧感应区域、屏幕上侧感应区域以及屏幕下侧感应区域,所述预定距离大于0;所述控制模块用于控制屏幕根据所述人体部位的运动轨迹以连续或离散的方式向所述预定感应区域方向滚动。
其中,所述系统还包括显示模块,所述显示模块用于,当所述人体部位进入预定感应区域时,在屏幕上显示相应的提示。
其中,所述显示模块还用于当所述人体部位进入预定感应区域时,将所述预定感应区域对应到屏幕上的平面区域以高亮的方式进行显示。
为解决上述技术问题,本发明提供的还有一种技术方案是:提供一种电子设备,所述电子设备包括上述的体感交互系统。
本发明的有益效果是:区别于现有技术的情况,本发明在激活体感交互系统的状态下,采集人体部位的三维立体图像,根据人体部位的三维立体图像进行特征提取获取特征参数,其中特征参数包括人体部位的三维坐标以及人体部位的运动轨迹,根据人体部位的三维坐标,判断人体部位是否进入预定感应区域,当人体部位进入预定感应区域时,控制屏幕根据人体部位的运动轨迹按照预定规则滚动。通过这样的方式,不需要依赖于外部输入设备,通过感应人体部位的空间动作,就能控制屏幕滚动,给用户更好的使用体验。
附图说明
图1是本发明实施例提供的一种体感控制屏幕滚动方法的流程图;
图2是本发明实施例提供的激活体感交互系统的流程图;
图3是本发明实施例提供的一种体感交互系统的结构示意图;
图4是本发明实施例提供的另一种体感交互系统的结构示意图;
图5是本发明实施例提供的体感交互系统的激活模块的结构示意图;
图6是本发明实施例提供的一种通过体感控制屏幕滚动的操作示意图;
图7是本发明实施例提供的另一种通过体感控制屏幕滚动的操作示意图。
具体实施方式
请参阅图1,图1是本发明实施例提供的一种体感控制屏幕滚动方法,如图所示,本实施例的体感控制屏幕滚动的方法包括:
S101:在体感交互系统激活状态下,采集人体部位的三维立体图像;
在本发明实施例中,需要进行体感交互之前,需要先激活体感交互系统。
其中,请进一步参阅图2,图2是本发明实施例提供的激活体感交互系统的流程图,如图所示,激活体感交互系统包括以下步骤:
S201:采集三维立体图像;
通过3D传感器采集预定空间范围内的三维立体图像。所采集的三维立体图像包括3D传感器镜头监控范围的所有物体。比如3D传感器镜头前包括桌子、椅子以及人,那么所采集的三维立体图像包括所有的这些物件。
S202:对三维立体图像进行处理,判断三维立体图像是否包含用于激活体感交互系统的人体部位的三维立体图像;
对3D体感器采集的三维立体图形进行处理,判断该三维立体图像中是否包含用于激活体感交互系统的人体部位的三维立体图像。比如预设的用于激活体感交互系统的人体部位为人手,则从采集的三维立体图像中识别是否包括人手。如果三维立体图像中包括用于激活体感交互系统的人体部位的三维立体图像,则执行步骤S203。
S203:对人体部位的三维立体图像进行处理,转化为激活指令;
其中,对人体部位的三维立体图像进行处理,转化为激活指令具体包括:将人体部位的三维立体图像进行特征提取获取特征参数,特征参数包括人体部位的三维坐标以及人体部位的空间运动轨迹,将特征参数与预存的激活体感交互系统的特征参数进行匹配,当匹配度达到预定阈值时,获取与预存的特征参数对应的指令,以作为激活指令。
将采集的人体部位的三维立体图像进行特征提取,获取得到特征参数,特征参数包括位置参数以及动作轨迹参数。位置参数即人体部位所处的空间位置,用三维坐标表示,运动轨迹即人体部位在空间上的运动轨迹。比如一个手掌抓握的动作,其参数提取即包括手掌当前所处的实际三维坐标X、Y、Z的具体数值,以确定手掌与3D传感器的具体位置关系。还包括手掌的空间运动轨迹即抓握的动作轨迹。
在提取得到特征参数以后,将提取的特征参数与预存的用于激活体感交互系统的特征参数进行匹配。
比如通过一个手掌的动作来激活体感交互系统,预存的手掌的动作的特征参数包括A、B、C,当前采集到一个手掌的三维立体图像,提取得到的特征参数包括A'、B'、C',将A'、B'、C'与A、B、C进行匹配,并判断匹配度是否达到预定阈值。
当提取的特征参数与预存的用于激活体感交互系统的特征参数的匹配度达到预定阈值时,获取与预存的特征参数对应的指令,以作为激活指令。预定阈值是预先设置的匹配程度的值,比如可以设置预定阈值为80%,当匹配度达到80%或以上,即获取与预存的特征参数对应的指令,以作为激活指令。
作为一种优选的实现方案,在提取的特征参数与预存的用于激活体感交互系统的特征参数的匹配度达到预定阈值时,系统可以进一步判断所述三维立体图像中包含用于激活体感交互系统的人体部件的三维立体图像所持续的时间是否达到预定时间。在持续的时间达到预定时间时,才获取与预存的特征参数对应的指令,以作为激活指令。通过这样的方式,可以有效防止误触发激活体感交互系统。
比如预设的用于激活体感交行系统的人体部件为手掌。当3D体感器前面用户当前正与另一个人在聊天,过程中可能不经意的会做出一个手掌的动作,系统在采集并识别出这个手掌动作之后,进一步判断立体图像中包含该手掌是否持续预定时间,如果没有持续达到预定时间,可以判断到这只是一个误操作,则不会激活体感交互系统。其中,这里的预定时间可以根据需要预先设定,比如设定为10秒、30秒等等。
作为一种更进一步的优选方案,当系统采集并识别到人体部位且持续未达到预定时间之前,可以在屏幕上显示一个进度条,以提示体感交互系统激活状态。进度条可以实时的,以图片形式显示系统激活的速度,完成度,剩余未完成任务量的大小,和可能需要处理时间。作为一种可能的实现,进度条可以长方形条状显示。当进度条满时,即表示达到激活体感交互系统条件,激活体感交互系统。通过这样的方式,能够让用户对体感交互系统激活状态的有直观的了解,也能够让误操作的用户及时停止手势动作以避免误触发激活体感交互系统。
S204:根据激活指令激活体感交互系统。
根据获取的激活指令,激活体感交互系统,以进入体感交互状态。
其中,在激活体感交互系统之后,可以给用户相应的体感交互系统已被激活的提示。其中,可以通过将屏幕预定区域以高亮状态进行显示作为提示。这里的预定区域可以是预设的体感感应区域对应到屏幕上的平面区域,比如屏幕左侧的一定面积的区域,或屏幕右侧一定面积的区域等。当然,也可以是整个屏幕。
当然,也可以通过其他的方式给用户提示,比如通过弹出体感交互系统已激活的提示,或者通过语音提示等等,本发明对此不作限定。
另外,在体感交互系统被激活后,在屏幕上显示与人体部位同步移动的图标。其中,与人体部位同步移动的图标可以是跟所述人体部位相似的图标,比如人体部位是人手,该图标可以是一个手形状的图标。当然,也可以是其他形式的图标,比如三角图标,圆点图标等。该屏幕上的图标跟随人体部位的移动而在屏幕上对应移动。比如人手在空间上向右移动,图标也跟随在屏幕上向右移动。
在体感交互系统激活状态下,通过3D红外传感器采集预定空间范围内人体部位的三维立体图像。3D红外传感器能够采集空间位置上物件的三维立体图像,所采集的三维立体图像包括物件所处的空间位置坐标以及空间运动轨迹。
本发明实施例所述的空间运动轨迹,包括人体部件的姿势以及人体部件的具体动作。比如用户在3D体感器前面做一个握拳的姿势并在空间范围内滑动,那么3D体感器采集该用户手部的三维立体图像,对该手部的三维立体图像进行特征提取,即获取到该手部距离3D传感器的三维坐标,以及该手部的握拳姿势和滑动的动作。其他三维立体图像的处理与此类似,本实施例不一一举例进行说明。
其中,本发明实施例所提到的人体部位可以是人手。当然也可以是其他的用于操作的人体部位比如人脸、人脚等等。
S102:将人体部位的三维立体图像进行特征提取获取特征参数,特征参数包括人体部位的三维坐标以及人体部位的空间运动轨迹;
将所采集的人体部位的三维立体图像进行特征提取,以获取该采集的三维立体空间的特征参数,其中,这些特征参数包括该人体部位所处的空间三维坐标以及人体部位的空间运动轨迹。通过特征提取,能够识别人体部位距离3D传感器的具体空间位置以及人体部位的动作。比如人手做的一个抓握的动作,通过采集该抓握的立体图像,并通过特征提取,就能根据该特征提取的参数确定这个人手的具体空间位置并识别出该动作为一个抓握的动作。
作为一种可能的实现方式,本发明对动作的识别之前,包括一个学习训练以建立一个训练数据库的过程。比如为识别一个人手抓握的动作,系统会采集各种不同的抓握动作的三维立体图像,对这些不同的抓握动作进行学习,以获取用于识别这个具体动作的具体特征参数。针对每个不同的动作,系统都会做这么一个学习训练过程,各种不同具体动作对应的具体特征参数,构成训练数据库。当系统获取到一个三维立体图像时,就会将该立体图像进行特征提取,到训练数据库中找到与之匹配的具体动作,以作为识别结果。
S103:根据人体部位的三维坐标,判断人体部位是否进入预定感应区域;
从提取的特征参数中的人体部位的三维坐标,判断人体部位是否进入预定感应区域。其中,这里的预定感应区域可以是预先设置的用于感应屏幕滚动动作并响应的一定空间范围。
其中,当人体部位进入预定感应区域时,屏幕显示相应的提示。作为一种可能的实现方式,可以将预定感应区域以高亮状态进行显示以提示用户可以在该预定感应区域内执行控制动作。当然,预定感应区域也可以以别的方式提示用户。比如突出显示,闪动显示、显示区域条纹等等。
当特征参数中的人体部位的三维坐标落入预定感应区域范围,则执行步骤S104。否则,不进行响应。
S104:控制屏幕根据人体部位的运动轨迹按照预定规则滚动;
当人体部位进入预定感应区域时,根据特征提取参数中人体部位的空间运动轨迹控制屏幕按照预定规则滚动。
其中,控制屏幕根据人体部位的空间运动轨迹按照预定规则滚动具体包括:将人体部位的空间运动轨迹与预存的控制屏幕滚动的空间运动轨迹进行匹配,当匹配达到预定匹配阈值时,按照预定规则控制屏幕滚动。
比如预先设置手掌向上推动的动作对应屏幕向上滚动,手掌向下推动的动作对应屏幕向下滚动,当采集到手掌向上推动的动作时即控制屏幕向上滚动,采集到手掌向下推动的动作即控制屏幕向下滚动。
当人体部位离开预定感应区域达到预定时间时,体感交互系统进入锁定状态,只有再次激活体感交互系统后才能进入体感控制控制屏幕滚动的交互。
为了进一步控制屏幕滚动的方向,将预定感应区域分为距离屏幕中心点预定距离的屏幕左侧感应区域、屏幕右侧感应区域、屏幕上侧感应区域或屏幕下侧感应区域,所述预定距离大于0。比如可以设置屏幕左侧预定面积以及屏幕右侧预定面积对应的空间区域为预定感应区域,只要人体部位进入屏幕左侧感应区域,并执行与预设的滚动屏幕相同的动作,则控制屏幕向屏幕左侧滚动,如果人体部位进入屏幕右侧感应区,则控制屏幕向屏幕右侧进行滚动。相对于设置其他区域作为感应区域的,具体实现类似,本实施例不一一进行举例说明。
其中,控制屏幕根据人体部位的运动轨迹按照预定规则滚动包括:控制屏幕根据人体部位的运动轨迹以连续或离散的方式向预定感应区域方向滚动。
其中,连续的方式是指屏幕内容以流畅方式滚动,内容停止于屏幕的任意位置,而离散的方式是指屏幕内容以离散方式滚动,每次滚动一整屏的内容,屏幕内容停留在固定位置。
只要人体部位没有离开预定感应区,屏幕会持续按照预定规则向预定感应区进行滚动直至没有可供显示的内容为止。如果中途人体部位离开预定感应区,则将滚动到当前屏幕节目的内容进行显示。
以浏览图片的屏幕界面为例,当采集到符合预定屏幕滚动的动作时,如果预设是连续的方式滚动屏幕,那么图片以流畅的方式向预定感应区域滚动,直至人体部位离开预定感应区时停止,并将滚动到当前屏幕的图片进行显示,如果人体部位没有离开预定感应区,屏幕将一直滚动直到没有图片可供显示为止。而如果预设的是离散的方式滚动屏幕,那么每次想预定感应区域滚动一整屏的图片并停留预定时间,再继续滚动下一整屏的图片,依次类推,如果人体部位离开预定感应区,则停留在当前屏幕上显示的界面,如果人体部位不离开预定感应区,则按照一整屏的图片依次滚动,直至没有可显示的图片为止。
当然,也可以不定义预定规则,通过预设的不同的动作对应不同的屏幕滚动方式。比如预设屏幕左侧预定空间区域范围以及屏幕右侧预定空间区域范围为预定感应区,预设手掌滑动的动作为控制屏幕滚动的动作,可以设定手掌每执行一次滑动动作对应进行一次屏幕离散的滚动,而手掌持续滑动的动作对应进行屏幕连续滚动。
请参阅图6,图6是本发明实施例提供的一种通过体感控制屏幕滚动的操作示意图,如图所示,在体感交互系统激活状态下,当人手进入右侧感应区域,如果人手一直停留在右侧感应区域,那么屏幕会以连续或离散的方式持续向右滚动,直至没有内容可供显示为止。如果期间人手离开右侧感应区域,停止滚动屏幕,屏幕将滚动到当前的内容进行显示。
请参阅图7,图7是本发明实施例提供的另一种通过体感控制屏幕滚动的操作示意图,如图所示在体感交互系统激活状态下,当人手进入左侧感应区域,如果人手一直停留在左侧感应区域,那么屏幕会以连续或离散的方式持续向左滚动,直至没有内容可供显示为止。如果期间人手离开右侧感应区域,停止滚屏,屏幕将滚动到当前的内容进行显示。
上述两个图只是示意性的,并且,在人手停留在预定感应区域,屏幕可以是按照预设往预定感应区域滚动,也可以是按照预设往预定感应区域相反的方向进行滚动,具体往哪个方向滚动可以根据用户需要设定。比如上图6的当人手进入右侧感应区域后,人手如果一直停留在右侧感应区域,那么屏幕可以连续或离散的方式向左滚动,而当图7的人手进入左侧感应区域,人手如果一直停留在左侧感应区域,那么屏幕可以连续或离散的方式向右滚动。针对设置上下感应区域的情况,屏幕滚动的体感操作类似,本发明不一一举例说明。
上述本发明实施例提供的体感控制屏幕滚动的方法,在激活体感交互系统的状态下,采集人体部位的三维立体图像,根据人体部位的三维立体图像进行特征提取获取特征参数,其中特征参数包括人体部位的三维坐标以及人体部位的运动轨迹,根据人体部位的三维坐标,判断人体部位是否进入预定感应区域,当人体部位进入预定感应区域时,控制屏幕根据人体部位的运动轨迹按照预定规则滚动。通过这样的方式,不需要依赖于外部输入设备,通过感应人体部位的空间动作,就能控制屏幕滚动,给用户更好的使用体验。
请参阅图3,图3是本发明实施例提供的一种体感交互系统的结构示意图,本实施例的体感交互系统用于执行上述图1所示实施例的体感控制屏幕滚动的方法,如图所示,本实施例的体感交互系统100包括采集模块11、特征提取模块12、判断模块13以及控制模块14,其中:
采集模块11用于,在体感交互系统激活状态下,采集人体部位的三维立体图像;
在本发明实施例中,需要通过体感控制参数调整时,需要先激活体感交互系统。
其中,请参阅图4,图4是本发明实施例提供的另一种体感交互系统的结构示意图,本实施例提供的体感交互系统包括与图3所示实施例提供的体感交互系统相同的功能模块之外,还进一步包括激活模块15,激活模块15用于控制激活体感交互系统。与图3所示相同的功能模块其具体功能实现也相同,具体请参见下述相关描述。
其中,请进一步参阅图5,图5是本发明实施例提供的激活模块的结构示意图,如图所示,激活模块15包括采集单元151、判断单元152、转化单元153以及激活单元154,其中:
采集单元151用于采集三维立体图像;
采集单元151通过3D传感器采集预定空间范围内的三维立体图像。所采集的三维立体图像包括3D传感器镜头监控范围的所有物体。比如3D传感器镜头前包括桌子、椅子以及人,那么所采集的三维立体图像包括所有的这些物件。
判断单元152用于对三维立体图像进行处理,判断三维立体图像是否包含用于激活体感交互系统的人体部位的三维立体图像,并将判断结果输出给转化单元153。
判断单元152对3D体感器采集的三维立体图形进行处理,判断该三维立体图像中是否包含用于激活体感交互系统的人体部位的三维立体图像。比如预设的用于激活体感交互系统的人体部位为人手,则从采集的三维立体图像中识别是否包括人手。
转化单元153用于对人体部位的三维立体图像进行处理,转化为激活指令。
其中,对人体部位的三维立体图像进行处理,转化为激活指令具体包括:将人体部位的三维立体图像进行特征提取获取特征参数,特征参数包括人体部位的三维坐标以及人体部位的空间运动轨迹,将特征参数与预存的激活体感交互系统的特征参数进行匹配,当匹配度达到预定阈值时,获取与预存的特征参数对应的指令,以作为激活指令。
将采集的人体部位的三维立体图像进行特征提取,获取得到特征参数,特征参数包括位置参数以及动作轨迹参数。位置参数即人体部位所处的空间位置,用三维坐标表示,运动轨迹即人体部位在空间上的运动轨迹。比如一个手掌抓握的动作,其参数提取即包括手掌当前所处的实际三维坐标X、Y、Z的具体数值,以确定手掌与3D传感器的具体位置关系。还包括手掌的空间运动轨迹即抓握的动作轨迹。
在提取得到特征参数以后,提取的特征参数与预存的用于激活体感交互系统的特征参数进行匹配。
比如通过一个手掌的动作来激活体感交互系统,预存的手掌的动作的特征参数包括A、B、C,当前采集到一个手掌的三维立体图像,提取得到的特征参数包括A'、B'、C',将A'、B'、C'与A、B、C进行匹配,并判断匹配度是否达到预定阈值。
当提取的特征参数与预存的用于激活体感交互系统的特征参数的匹配度达到预定阈值时,获取与预存的特征参数对应的指令,以作为激活指令。预定阈值是预先设置的匹配程度的值,比如可以设置预定阈值为80%,当匹配度达到80%或以上,即获取与预存的特征参数对应的指令,以作为激活指令。
作为一种优选的实现方案,在提取的特征参数与预存的用于激活体感交互系统的特征参数的匹配度达到预定阈值时,系统可以进一步判断所述三维立体图像中包含用于激活体感交互系统的人体部件的三维立体图像所持续的时间是否达到预定时间。在持续的时间达到预定时间时,才获取与预存的特征参数对应的指令,以作为激活指令。通过这样的方式,可以有效防止误触发激活体感交互系统。
比如预设的用于激活体感交行系统的人体部件为手掌。当3D体感器前面用户当前正与另一个人在聊天,过程中可能不经意的会做出一个手掌的动作,系统在采集并识别出这个手掌动作之后,进一步判断立体图像中包含该手掌是否持续预定时间,如果没有持续达到预定时间,可以判断到这只是一个误操作,则不会激活体感交互系统。其中,这里的预定时间可以根据需要预先设定,比如设定为10秒、30秒等等。
作为一种更进一步的优选方案,当系统采集并识别到人体部位且持续未达到预定时间之前,可以在屏幕上显示一个进度条,以提示体感交互系统激活状态。进度条可以实时的,以图片形式显示系统激活的速度,完成度,剩余未完成任务量的大小,和可能需要处理时间。作为一种可能的实现,进度条可以长方形条状显示。当进度条满时,即表示达到激活体感交互系统条件,激活体感交互系统。通过这样的方式,能够让用户对体感交互系统激活状态的有直观的了解,也能够让误操作的用户及时停止手势动作以避免误触发激活体感交互系统。
激活单元154用于根据激活指令激活体感交互系统。
根据获取的激活指令,激活体感交互系统,以进入体感交互状态。采集模块11在体感交互系统激活状态下,采集进入感应区域的人体部位的三维立体图像。
在体感交互系统激活状态下,通过3D红外传感器采集预定空间范围内人体部位的三维立体图像。3D红外传感器能够采集空间位置上物件的三维立体图像,所采集的三维立体图像包括物件所处的空间位置坐标以及空间运动轨迹。
其中,本发明实施例所提到的人体部位可以是人手。当然也可以是其他的用于操作的人体部位比如人脸、人脚等等。
特征提取模块12用于将人体部位的三维立体图像进行特征提取获取特征参数,特征参数包括人体部位的三维坐标以及人体部位的空间运动轨迹;
特征提取模块12将所采集的人体部位的三维立体图像进行特征提取,以获取该采集的三维立体空间的特征参数,其中,这些特征参数包括该人体部位所处的空间三维坐标以及人体部位的空间运动轨迹。通过特征提取,能够识别人体部位距离3D传感器的具体空间位置以及人体部位的动作。比如人手做的一个抓握的动作,通过采集该抓握的立体图像,并通过特征提取,就能根据该特征提取的参数确定这个人手的具体空间位置并识别出该动作为一个抓握的动作。
判断模块13用于根据人体部位的三维坐标,判断人体部位是否进入预定感应区域;
从提取的特征参数中的人体部位的三维坐标,判断人体部位是否进入预定感应区域。其中,这里的预定感应区域可以是预先设置的用于感应屏幕滚动动作并响应的一定空间范围。
控制模块14用于,当人体部位进入预定感应区域时,控制屏幕根据人体部位的运动轨迹按照预定规则滚动。
当人体部位进入预定感应区域时,控制模块14根据特征提取参数中人体部位的空间运动轨迹控制屏幕按照预定规则滚动。
其中,控制屏幕根据人体部位的空间运动轨迹按照预定规则滚动具体包括:将人体部位的空间运动轨迹与预存的控制屏幕滚动的空间运动轨迹进行匹配,当匹配达到预定匹配阈值时,按照预定规则控制屏幕滚动。
比如预先设置手掌向上推动的动作对应屏幕向上滚动,手掌向下推动的动作对应屏幕向下滚动,当采集到手掌向上推动的动作时即控制屏幕向上滚动,采集到手掌向下推动的动作即控制屏幕向下滚动。
当人体部位离开预定感应区域达到预定时间时,体感交互系统进入锁定状态,只有再次激活体感交互系统后才能进入体感控制控制屏幕滚动的交互。
为了进一步控制屏幕滚动的方向,将预定感应区域分为距离屏幕中心点预定距离的屏幕左侧感应区域、屏幕右侧感应区域、屏幕上侧感应区域或屏幕下侧感应区域,所述预定距离大于0。比如可以设置屏幕左侧预定面积以及屏幕右侧预定面积对应的空间区域为预定感应区域,只要人体部位进入屏幕左侧感应区域,并执行与预设的滚动屏幕相同的动作,则控制屏幕向屏幕左侧滚动,如果人体部位进入屏幕右侧感应区,则控制屏幕向屏幕右侧进行滚动。相对于设置其他区域作为感应区域的,具体实现类似,本实施例不一一进行举例说明。
其中,控制屏幕根据人体部位的运动轨迹按照预定规则滚动包括:控制屏幕根据人体部位的运动轨迹以连续或离散的方式向预定感应区域方向滚动。
其中,连续的方式是指屏幕内容以流畅方式滚动,内容停止于屏幕的任意位置,而离散的方式是指屏幕内容以离散方式滚动,每次滚动一整屏的内容,屏幕内容停留在固定位置。
只要人体部位没有离开预定感应区,屏幕会持续按照预定规则向预定感应区进行滚动直至没有可供显示的内容为止。如果中途人体部位离开预定感应区,则滚动到当前屏幕节目的内容进行显示。
以浏览图片的屏幕界面为例,当采集到符合预定屏幕滚动的动作时,如果预设是连续的方式滚动屏幕,那么图片以流畅的方式向预定感应区域滚动,直至人体部位离开预定感应区时停止,并将滚动到当前屏幕的图片进行显示,如果人体部位没有离开预定感应区,屏幕将一直滚动直到没有图片可供显示为止。而如果预设的是离散的方式滚动屏幕,那么每次想预定感应区域滚动一整屏的图片并停留预定时间,再继续滚动下一整屏的图片,依次类推,如果人体部位离开预定感应区,则停留在当前屏幕上显示的界面,如果人体部位不离开预定感应区,则按照一整屏的图片依次滚动,直至没有可显示的图片为止。
当然,也可以不定义预定规则,通过预设的不同的动作对应不同的屏幕滚动方式。比如预设屏幕左侧预定空间区域范围以及屏幕右侧预定空间区域范围为预定感应区,预设手掌滑动的动作为控制屏幕滚动的动作,可以设定手掌每执行一次滑动动作对应进行一次屏幕离散的滚动,而手掌持续滑动的动作对应进行屏幕连续滚动。
其中,请继续参阅图4,本实施例的体感交互系统还可以进一步包括显示模块16,显示模块16用于,当人体部位进入预定感应区域时,在屏幕上显示与人体部位同步移动的图标。
其中,与人体部位同步移动的图标可以是跟所述人体部位相似的图标,比如人体部位是人手,该图标可以是一个手形状的图标。当然,也可以是其他形式的图标,比如三角图标,圆点图标等。该屏幕上的图标跟随人体部位的移动而在屏幕上对应移动。比如人手在空间上向右移动,图标也跟随在屏幕上向右移动。
显示模块16还用于,当人体部位进入预定感应区域时,在屏幕上显示相应的提示。
其中,当人体部位进入预定感应区域时,作为一种可能的实现方式,显示模块16可以将预定感应区域以高亮状态进行显示以提示用户可以在该预定感应区域内执行控制动作。当然,预定感应区域也可以以别的方式提示用户。比如突出显示,闪动显示或显示区域条纹等等。
在本发明实施例所提供的体感交互系统的基础上,本发明实施例进一步提供一种电子设备,该电子设备包括上述实施例所述的体感交互系统。其中,电子设备可以但不限于是智能电视、智能手机、平板电脑、笔记本电脑等。
上述本发明实施例提供的体感交互系统,在激活体感交互系统的状态下,采集人体部位的三维立体图像,根据人体部位的三维立体图像进行特征提取获取特征参数,其中特征参数包括人体部位的三维坐标以及人体部位的运动轨迹,根据人体部位的三维坐标,判断人体部位是否进入预定感应区域,当人体部位进入预定感应区域时,控制屏幕根据人体部位的运动轨迹按照预定规则滚动。通过这样的方式,不需要依赖于外部输入设备,通过感应人体部位的空间动作,就能控制屏幕滚动,给用户更好的使用体验。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种体感控制屏幕滚动方法,其特征在于,所述方法包括:
在体感交互系统激活状态下,采集人体部位的三维立体图像;
将所述人体部位的三维立体图像进行特征提取获取特征参数,所述特征参数包括所述人体部位的三维坐标以及所述人体部位的运动轨迹;
根据所述人体部位的三维坐标,判断所述人体部位是否进入预定感应区域;
当所述人体部位进入预定感应区域时,控制屏幕根据所述人体部位的运动轨迹按照预定规则滚动。
2.根据权利要求1所述的方法,其特征在于,所述预定感应区域分为距离屏幕中心点预定距离的屏幕左侧感应区域、屏幕右侧感应区域、屏幕上侧感应区域以及屏幕下侧感应区域,所述预定距离大于0;
所述控制屏幕根据所述人体部位的运动轨迹按照预定规则滚动包括:
控制屏幕根据所述人体部位的运动轨迹以连续或离散的方式向所述预定感应区域方向滚动。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述人体部位进入预定感应区域时,在屏幕上显示与所述人体部位同步移动的图标。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述人体部位进入预定感应区域时,屏幕显示相应的提示。
5.根据权利要求1所述的方法,其特征在于,所述人体部位为人手。
6.一种体感交互系统,其特征在于,所述系统包括采集模块、特征提取模块、判断模块以及控制模块,其中:
所述采集模块用于在体感交互系统激活状态下,采集人体部位的三维立体图像;
所述特征提取模块用于将所述人体部位的三维立体图像进行特征提取获取特征参数,所述特征参数包括所述人体部位的三维坐标以及所述人体部位的运动轨迹;
所述判断模块用于根据所述人体部位的三维坐标,判断所述人体部位是否进入预定感应区域;
所述控制模块用于,当所述人体部位进入预定感应区域时,控制屏幕根据所述人体部位的运动轨迹按照预定规则滚动。
7.根据权利要求6所述的系统,其特征在于,所述预定感应区域分为距离屏幕中心点预定距离的屏幕左侧感应区域、屏幕右侧感应区域、屏幕上侧感应区域以及屏幕下侧感应区域,所述预定距离大于0;所述控制模块用于控制屏幕根据所述人体部位的运动轨迹以连续或离散的方式向所述预定感应区域方向滚动。
8.根据权利要求6所述的系统,其特征在于,所述系统还包括显示模块,所述显示模块用于当所述人体部位进入预定感应区域时,在屏幕上显示与所述人体部位同步移动的图标。
9.根据权利要求6所述的系统,其特征在于,所述显示模块还用于,当所述人体部位进入预定感应区域时,在屏幕上显示相应的提示。
10.一种电子设备,其特征在于,所述电子设备包括权利要求6-9任一项所述的体感交互系统。
CN201510307214.8A 2015-05-29 2015-06-05 一种体感控制屏幕滚动方法、体感交互系统及电子设备 Pending CN104915004A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510307214.8A CN104915004A (zh) 2015-05-29 2015-06-05 一种体感控制屏幕滚动方法、体感交互系统及电子设备
PCT/CN2016/076776 WO2016192439A1 (zh) 2015-06-05 2016-03-18 一种体感控制屏幕滚动方法、体感交互系统及电子设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510288193 2015-05-29
CN201510288193X 2015-05-29
CN201510307214.8A CN104915004A (zh) 2015-05-29 2015-06-05 一种体感控制屏幕滚动方法、体感交互系统及电子设备

Publications (1)

Publication Number Publication Date
CN104915004A true CN104915004A (zh) 2015-09-16

Family

ID=54084139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510307214.8A Pending CN104915004A (zh) 2015-05-29 2015-06-05 一种体感控制屏幕滚动方法、体感交互系统及电子设备

Country Status (1)

Country Link
CN (1) CN104915004A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192440A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种体感控制参数调整的方法、体感交互系统及电子设备
WO2016192439A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种体感控制屏幕滚动方法、体感交互系统及电子设备
WO2016192438A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种体感交互系统激活方法、体感交互方法及系统
CN107544673A (zh) * 2017-08-25 2018-01-05 上海视智电子科技有限公司 基于深度图信息的体感交互方法和体感交互系统
CN111045587A (zh) * 2019-10-29 2020-04-21 咪咕互动娱乐有限公司 游戏控制方法、电子设备和计算机可读存储介质
CN111870931A (zh) * 2020-06-24 2020-11-03 合肥安达创展科技股份有限公司 一种体感互动的人机交互方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120204133A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
CN103488296A (zh) * 2013-09-25 2014-01-01 华为软件技术有限公司 体感交互手势控制方法及装置
CN103809846A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种功能调用方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120204133A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Gesture-Based User Interface
CN103809846A (zh) * 2012-11-13 2014-05-21 联想(北京)有限公司 一种功能调用方法及电子设备
CN103488296A (zh) * 2013-09-25 2014-01-01 华为软件技术有限公司 体感交互手势控制方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192440A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种体感控制参数调整的方法、体感交互系统及电子设备
WO2016192439A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种体感控制屏幕滚动方法、体感交互系统及电子设备
WO2016192438A1 (zh) * 2015-06-05 2016-12-08 深圳奥比中光科技有限公司 一种体感交互系统激活方法、体感交互方法及系统
CN107544673A (zh) * 2017-08-25 2018-01-05 上海视智电子科技有限公司 基于深度图信息的体感交互方法和体感交互系统
CN111045587A (zh) * 2019-10-29 2020-04-21 咪咕互动娱乐有限公司 游戏控制方法、电子设备和计算机可读存储介质
CN111045587B (zh) * 2019-10-29 2024-02-09 咪咕互动娱乐有限公司 游戏控制方法、电子设备和计算机可读存储介质
CN111870931A (zh) * 2020-06-24 2020-11-03 合肥安达创展科技股份有限公司 一种体感互动的人机交互方法及系统

Similar Documents

Publication Publication Date Title
CN104881122B (zh) 一种体感交互系统激活方法、体感交互方法及系统
CN104915004A (zh) 一种体感控制屏幕滚动方法、体感交互系统及电子设备
CN104246661B (zh) 使用手势与装置交互
CN104915003A (zh) 一种体感控制参数调整的方法、体感交互系统及电子设备
CA2822812C (en) Systems and methods for adaptive gesture recognition
CN104035677B (zh) 提示信息的显示方法和装置
CN110377053B (zh) 无人机的飞行控制方法和装置
CN103677251A (zh) 姿势识别装置及其控制方法、显示器
CN105573536A (zh) 触控交互的处理方法、装置和系统
CN108920066B (zh) 触摸屏滑动调整方法、调整装置及触控设备
WO2012144970A1 (en) Obstructing user content based on location
CN105144033A (zh) 经由传感器融合的扩展交互式输入
KR20170009979A (ko) 터치 입력을 위한 방법 및 시스템
CN101976143A (zh) 一种触摸屏操作手势管理系统及方法
CN102830891A (zh) 一种非接触式手势控制设备及其锁定和解锁方法
CN109643560A (zh) 装置和相关联的方法
CN104915088B (zh) 一种信息处理方法和电子设备
CN105242776A (zh) 一种智能眼镜的控制方法及智能眼镜
CN109613836A (zh) 电动床触摸控制方法、装置、设备及存储介质
CN109032334B (zh) 一种基于指纹和手势识别的交互方法及交互系统
CN107291358A (zh) 内容显示控制方法、电子设备,以及视频客户端
CN113282164A (zh) 一种处理方法和装置
CN111007974A (zh) 基于触摸笔的交互方法、终端及可读存储介质
CN103218124B (zh) 基于深度摄像头的菜单控制方法及系统
CN114610155A (zh) 手势控制方法、装置、显示终端及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150916

RJ01 Rejection of invention patent application after publication