CN105117015A - 一种显示屏中不规则多边形区域的切换方法和系统 - Google Patents
一种显示屏中不规则多边形区域的切换方法和系统 Download PDFInfo
- Publication number
- CN105117015A CN105117015A CN201510543114.5A CN201510543114A CN105117015A CN 105117015 A CN105117015 A CN 105117015A CN 201510543114 A CN201510543114 A CN 201510543114A CN 105117015 A CN105117015 A CN 105117015A
- Authority
- CN
- China
- Prior art keywords
- gesture
- irregular polygon
- current
- region
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001788 irregular Effects 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 claims abstract description 11
- 230000001133 acceleration Effects 0.000 claims description 71
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000003491 array Methods 0.000 claims description 6
- 230000013011 mating Effects 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000030214 innervation Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及物联网技术领域,具体为一种显示屏中不规则多边形区域的切换方法和系统,其可以方便地识别用户手势含义并根据用户手势的不同含义无线遥控切换到指定的显示屏中不规则多边形区域,种显示屏中不规则多边形区域的切换方法,其特征在于,手持移动智能设备识别手势含义并生成相应信号后由无线传输方式将所述信号发送至非触摸大屏控制设备,非触摸大屏控制设备接收到手势含义信号后将显示屏中当前选中区域切换至指定的不规则多边形区域;一种显示屏中不规则多边形区域的切换系统,其特征在于,其包括无线路由器、手持移动智能设备和非触摸大屏控制设备,所述手持移动智能设备通过无线路由器无线连接所述非触摸大屏控制设备。
Description
技术领域
本发明涉及物联网技术领域,具体为一种显示屏中不规则多边形区域的切换方法和系统。
背景技术
常见的非触摸显示屏(如家庭电视等),常采用红外线、蓝牙、2.4GHz等无线遥控技术进行屏幕菜单选择项的切换。红外线遥控器由于制造成本低,稳定性高,且不需要额外的设置等特性,在家庭中极为常见。但是,这几种遥控方式均需有特定的遥控设备,即使目前部分智能手机可以发射红外等信号来代替遥控器遥控电视,但依旧是都是基于按键操作,不能给用户带来动感体验且操作繁琐。随着模式设别等技术的发展,基于用户体感的遥控越来越受关注。
另一方面,传统的显示屏上菜单选项的切换都是基于规则多边形(如矩形)区域间的相互切换,这样的技术不支持在非触摸显示屏(如家庭电视等)上阅读电子版报纸。在报纸转型的大背景下,电子版报纸越来越普遍,电子报纸排版的随意和不规则性,传统的规则区域切换方法已不能使用于不规则多边形区域的切换,给电视大屏幕上报纸的阅读带来诸多不便。
发明内容
本发明的目的是克服现有技术中存在的不足,提供一种显示屏中不规则多边形区域的切换方法和系统,其可以方便地识别用户手势含义并根据用户手势的不同含义无线遥控切换到指定的显示屏中不规则多边形区域。
本发明的技术方案是这样的:一种显示屏中不规则多边形区域的切换方法,其特征在于,手持移动智能设备识别手势含义并生成相应信号后由无线传输方式将所述信号发送至非触摸大屏控制设备,非触摸大屏控制设备接收到手势含义信号后将显示屏中当前选中区域切换至指定的不规则多边形区域。
所述识别用户手势含义步骤又包括以下步骤:
(1)识别手势含义包括以下步骤:
(1)采集手势数据,即利用手持移动智能设备采集手势的加速度数据,其又包括以下子步骤:
(1.1)计算实际加速度值:实时读取手持移动智能设备在移动过程中其加速度传感器返回的在X、Y、Z轴方向上的加速度值,并据此计算滤除重力后的加速度即实际加速度值,记为val,当此刻实际加速度值val达到指定阈值时,执行子步骤(1.2);否则执行子步骤(1.1),实际加速度值val计算公式如下:
其中x、y、z分别表示加速度传感器三个坐标轴传回的同一时刻的数据,g表示重力加速度;
(1.2)记录加速度数据:分别记录当前时刻加速度传感器返回的X、Y、Z三个方向上的加速度值,并据此计算各时刻实际加速度值和欧氏距离,记为dis,欧式距离计算公式如下:
其中,(xt,yt,zt)表示t时刻的各轴上的加速度数据,(xt-1,yt-1,zt-1)表示t-1时刻的数据;
(1.3)确定手势是否停止:当记录的某一时刻的实际加速度值和欧氏距离分别小于指定阈值,则将标记手势是否减速的变量值number加一,执行子步骤(1.4);否则,令number等于0并执行子步骤(1.2);
(1.4)确定是否停止采集加速度数据:当标记手势是否减速的变量值number大于指定阈值时,则判定手势结束并停止采集数据,执行子步骤(1.5);否则继续执行子步骤(1.2);
(1.5)判定采集的加速度数据是否有效:计算已记录加速度数据的数组长度,当数组长度大于指定阈值时,则判定此次手势有效;否者判定此次手势为无效即抖动,初始化参数并执行子步骤(1.1);
(2)根据所采集的手势数据识别手势含义,即对已采集的与用户手动对应的X、Y、Z轴上的加速度数据进行处理,确定用户手动的具体方向,从而判定用户手势含义,如“上”、“下”、“左”或“右”,,其又包括以下子步骤:
(2.1)计算幅度差值:对已采集的X、Y、Z轴上的加速度数据分别计算其幅度差值,记为AX、AY、AZ,并分别保存在三个数组中,其计算公式如下:
其中l为子步骤(1.5)中计算得到的每组数组长度,为X轴ti时刻的加速度值,为Y轴ti时刻的加速度值,为Z轴ti时刻的加速度值;
(2.2)确定与手势运动方位所匹配的坐标轴:分别取子步骤(2.1)中所得到的三个存放加速度数据数组中幅度差值的最大值并相比较,保留其最大幅度差值所对应的坐标轴上的加速度数据,并确定该坐标轴是用户此次手势运动方位所匹配的坐标轴;
(2.3)确定手势指向在已匹配坐标轴上的方向,即正方向或负方向:取子步骤(2.2)中保留的坐标轴上的加速度的最小值,记为min,同时记下该值在该数组中的索引号index,并取索引号0~index对应的数据中最大值并记为max和数组中索引号为index+1处的值并记为nextValue;当index大于0,max大于0且min小于指定阈值时,若nextValue大于指定阈值则确定手势指向是已匹配坐标轴上的负方向,若nextValue小于指定阈值则确定手势指向是已匹配坐标轴上的正方向;而当index等于0,则min小于指定阈值时,若nextValue大于指定阈值则确定手势指向是已匹配坐标轴上的负方向,若nextValue小于指定阈值则确定手势指向是已匹配坐标轴上的正方向;
(2.4)确定手势含义:当用户手势沿X轴正方向运动则判定为右,沿X轴反方向运动则判定为左,X轴为水平方向;当用户手势沿Z轴正方向运动则判定为上,沿Z轴反方向运动则判定为下,Z轴为垂直方向;当用户手势沿Y轴正方向运动则判定为确定,Y轴正方向为远离做出手势的用户正前方方向;
通过手持移动智能设备由无线传输方式将相应手势含义信号发送至非触摸大屏控制设备步骤又包括以下步骤:
(1)建立连接:非触摸大屏控制设备一启动即连入所在的无线局域网,当手持移动智能设备进入该无线局域网并成功连入该无线局域网时,启动手持移动智能设备中配备的通信APP并运行即可与处于同一局域网内的非触摸大屏控制设备通过无线方式进行通信;
(2)无线发送手势含义控制信号:手持移动智能设备将已识别出的手势含义控制信号,通过步骤(1)建立的连接无线发送至非触摸大屏控制设备;
当前选中区域切换至显示屏中指定的不规则多边形区域步骤包括以下步骤:
(1)将不规则多边形区域转换为矩形区域,即根据不规则多边形的各坐标值,选取合适的坐标值使不规则多边形区域转换为矩形,其又包括以下子步骤:
(1.1)获取给定的每个不规则多边形之所有邻接边交点的横坐标和纵坐标值:获取给定的每个不规则多边形之所有邻接边交点的横坐标和纵坐标值,分别保存到数组X和Y中;
(1.2)确定作为矩形范围的四个坐标值Xleft、Xright、Yup和Ydown:Xleft取每个不规则多边形中横坐标X中的最小值,Xright取每个不规则多边形中横坐标X的第二小值,同时取出每个不规则多边形中所有横坐标等于最小值的对应纵坐标并存入数组Y'中;当数组Y'长度大于1时,Yup取数组Y'中的最小值,所述Ydown取数组Y'中的最大值,当数组Y'长度小于1时,所述Ydown、Yup分别取每个不规则多边形中纵坐标Y中最大值、最小值。
(2)获取最匹配的切换区域:即以当前选中区域为基准点,找到位于此当前选中区域的上、下、左或右四方中所有最邻近的区域,并从这些区域中确定最终要切换到的区域,其又包括以下子步骤:
(2.1)获取基准点坐标值:获取当前选中多边形区域对应的矩形的四个坐标值,并赋值给基准点坐标值current_Yup、current_Ydown、current_Xleft和current_Xright;
(2.2)选择符合条件的不规则多边形区域:根据不同手势含义,分别将上述子步骤(1.2)获得的每个不规则多边形的四个坐标值Xleft、Xright、Yup和Ydown与上述子步骤(2.1)中获取的current_Yup、current_Ydown、current_Xleft和current_Xright坐标值按照切换规则相比较,保存每个符合切换规则的区域的Xleft、Xright、Yup、Ydown四个坐标值,并记录符合切换规则的区域数N;所述“切换规则”具体为:当手势含义为上时,将每个不规则多边形的Ydown与current_Yup相比,当Ydown小于current_Yup且其在X轴上有一定交集则判定其符合条件,即在当前选中不规则多边形的上侧;当手势含义为下时,将每个不规则多边形的Yup与current_Ydown相比,当Yup大于current_Ydown且其在X轴上有一定交集则判定其符合条件,即在当前选中不规则多边形的下侧;当手势含义为左时,将每个不规则多边形的Xright与current_Xleft相比,当Xright小于current_Xleft且其在Y轴上有一定交集则判定其符合条件,即在当前选中不规则多边形的左侧;当手势含义为右时,将每个不规则多边形的Xleft与current_Xright相比,当Xleft大于current_Xright且其在Y轴上有一定交集则判定其符合条件,即在当前选中不规则多边形右侧;
(2.3)根据符合条件的区域数执行不同操作:当符合条件的区域数N为0时,转子步骤(2.6);当N等于1时,则将当前选中区域直接切换到符合切换规则的不规则多边形区域,转子步骤(2.6);当N大于1时,则继续执行子步骤(2.4);
(2.4)去除符合条件的区域中离当前已选中区域较远的不规则多边形区域:取上述子步骤(2.2)中所记下的所有不规则多边形,根据接收的手势含义,采用坐标比较法仅保留离当前选中区域最近的一排或一列不规则多边形区域。所述“坐标比较法”具体为:当接收的手势含义为上时,取上述子步骤(2.2)中所记下的所有不规则多边形区域中Yup的最大值,记为max_Yup,并与上述子步骤(2.2)中记下的不规则多边形区域的Ydown相比较,当Ydown小于max_Yup,则表示该多边形区域不是离当前选中区域最近的一排,去掉该不规则多边形区域;同理,当接收的手势含义为下时,去掉上述子步骤(2.2)中所记下的不规则多边形区域中Yup大于min_Ydown的区域;当接收的手势为左时,去掉上述子步骤(2.2)中所记下的不规则多边形区域中Xright小于max_Xleft的区域;当接收的手势含义为右时,去掉上述子步骤(2.2)中所记下的不规则多边形区域中Xleft大于min_Xright的区域。
(2.5)确定最终切换区域实现不规则多边形区域切换:计算上述子步骤(2.4)中已保留的不规则多边形区域离原点,即左上角的距离dis,选择dis最小的区域为最终切换区域,并将该最终切换区域的四个坐标值分别赋值给标记当前选中区域的current_Yup、current_Ydown、current_Xleft和current_Xright四个坐标值,dis计算公式如下:
dis=Xleft+Yup。
(2.6)切换步骤结束。
一种显示屏中不规则多边形区域的切换系统,其特征在于,其包括无线路由器、手持移动智能设备和非触摸大屏控制设备,所述手持移动智能设备通过无线路由器无线连接所述非触摸大屏控制设备
其进一步特征在于,所述无线路由器能够通过wifi技术建立一个无线局域网络,方便手持移动智能设备和非触摸大屏控制设备加入该无线局域网,并通过该网络实现手持移动智能设备和非触摸大屏控制设备之间的相互通信;
所述手持移动智能设备,可与所述无线路由器建立连接;当手持移动智能设备的加速度值发生变化时,所述手持移动智能设备利用识别用户手势含义的步骤(1)来实时采集加速度传感器返回的加速度数据,并根据识别用户手势含义的步骤(2)对采集到的加速度数据进行处理、识别出用户手势含义,且将相应手势含义信号无线发送至位于同一局域网内的非触摸大屏控制设备;
所述非触摸大屏控制设备包括非触摸显示屏和显示屏控制器两部分,显示屏控制器可与所述无线路由器建立连接,可接收所述手持移动智能设备发送的手势含义信号,且可根据当前选中区域切换至显示屏中指定的不规则多边形区域步骤(1)和(2)确定最匹配的不规则多边形区域,并将显示屏中当前选中区域切换至已确定的最匹配不规则多边形区域
采用本发明的方法和系统后,与传统的通过按键方式遥控显示屏中规则多边形切换至指定区域不同,本发明利用用户手握的移动智能设备(如智能手机)来识别用户手势含义,并通过无线方式实现显示屏中不规则多边形间区域相互切换。该系统操作方便,不需额外增加硬件设备,只需在现有移动智能设备和非触摸显示屏控制器中配备APP即可实现遥控,另外,本发明中的遥控方式无方向限定,且适应各种不规则多边形区域的切换,使用范围广。
附图说明
图1为本发明采集用户手势数据流程示意图;
图2为本发明不规则多边形区域间切换流程示意图;
图3为本发明不规则多边形转化为规则多边形的结构示意图;
图4为本发明获取最佳不规则多边形切换区域方法流程示意图;
图5为本发明获取最佳不规则多边形切换区域方法结构示意图;
图6为手持移动智能设备和大屏设备物理连接结构示意图;
图7为实际实现不规则多边形区域切换的一个具体实施例。
具体实施方式
下面结合具体附图和实施例对本发明作进一步说明。
在实际用户甩动手持移动智能设备操作时,手持移动智能设备中的加速度传感器返回的加速度值受用户手握手持移动智能设备的方式和操作习惯等其他因素较大,为了提高识别效率并不失一般性,本具体实施方式中,特要求用户手握手持移动智能设备时尽量保持屏幕水平朝上。
具体实施过程是这样的:显示屏中不规则多边形区域的切换方法,其包括以下过程:手持移动智能设备识别手势含义并生成相应信号后由无线传输方式将所述信号发送至非触摸大屏控制设备,非触摸大屏控制设备接收到手势含义信号后将显示屏中当前选中区域切换至指定的不规则多边形区域。
下列描述的步骤中提及到的阈值根据具体情况指定得到。
识别用户手势含义步骤又包括以下步骤:
(1)采集用户手势数据,即利用手持移动智能设备采集手势的加速度数据,其又包括以下子步骤,如图1所示:
(1.1)计算实际加速度值:获取手持移动智能设备系统服务中的加速度传感器管理对象,注册并设置加速度传感器监听事件;当加速度传感器值发生更改时,按照预先设定的接收频率200ms读取手持移动智能设备中加速度传感器返回的在X、Y、Z轴方向上的加速度值,并据此计算滤除重力后的加速度即实际加速度值,记为val,当此刻实际加速度值val达到指定阈值2.5时,执行子步骤(1.2);否则执行子步骤(1.1);
(1.2)记录加速度数据:分别记录当前时刻加速度传感器返回的X、Y、Z三个方向的加速度值,并据此计算各时刻实际加速度val和欧式距离dis;
(1.3)确定用户手动是否停止:当记录的某一时刻val、dis分别小于指定的阈值1.0和0.8,则将标记手势是否减速的变量值number加一,并执行子步骤(1.4);否则,令number等于0,执行子步骤(1.2);
(1.4)确定是否停止采集加速度数据:当标记手势是否减速的变量number大于指定阈值5时,则判定手势结束,停止采集数据并将采集的加速度数据分别存储在Ax、Ay和Az三个数组中,执行子步骤(1.5);否则执行子步骤(1.2);
(1.5)判定采集的加速度数据是否有效:计算数组Ax的数据长度,当数据长度大于阈值10时,则判定此次手势有效,否者判定此次手势无效即为用户抖动,初始化参数并执行子步骤(1.1)。
(2)根据所采集的手势数据识别手势含义。分析处理步骤(1)中所采集并存储在Ax、Ay和Az三个数组中的与用户手势对应的X、Y、Z轴上的加速度值,确定用户手势的具体方向,从而判定用户手势含义(如“上”、“下”、“左”或“右”),其又执行以下子步骤:
(2.1)计算幅度差值:对Ax、Ay和Az三个数组中的加速度值分别依次按照以下公式计算其幅度差值A并分别保存在Ax'、Ay'和Az'三个数组中,其计算公式如下:
其中l为子步骤(1.5)中计算得到的每组数组长度,为X轴ti时刻的加速度值,为Y轴ti时刻的加速度值,为Z轴ti时刻的加速度值
(2.2)确定与用户手势运动方位所匹配的坐标轴:分别取子步骤(2.1)中所得到A'x、A'y和A'z三个数组中的最大值并相比较,得到幅度值变化最大值maxSum,保留maxSum所对应的坐标轴上的加速度数据,并确定该坐标轴是用户此次手势运动方位所匹配的坐标轴;
(2.3)确定用户手动指向在已匹配坐标轴上的方向(正方向或负方向):取子步骤(2.2)中保留的坐标轴上的加速度的最小值min,同时记下该值在该数组中的索引号index,并取索引号0~index对应的数据中最大值max和数组中索引号为index+1处的值nextValue;当index大于0,max大于0且min小于阈值-8时,若nextValue大于阈值0则确定用户手势指向已匹配坐标轴上的负方向,若nextValue小于阈值0则确定用户手势指向已匹配坐标轴上的正方向;当index等于0,则min小于阈值-8时,若nextValue大于阈值0则确定用户手势指向已匹配坐标轴上的负方向,若nextValue小于阈值0则确定用户手势指向已匹配坐标轴上的正方向。
(2.4)确定用户手势含义:当子步骤(2.3)所确定的用户手势沿X轴(即水平方向)正方向运动则判定为右,沿X轴(即水平方向)反方向运动则判定为左;当所确定的用户手势沿Z轴(即垂直方向)正方向运动则判定为上,沿Z轴(即垂直方向)反方向运动则判定为下;当所确定的用户手势沿Y轴正方向(即远离用户正前方的方向)运动则判定为确定。
发送用户手势含义信号步骤又包括以下步骤,如图6所示:
(1)建立连接:当用户手握配备专用APP的手持移动智能设备2,启动识别手势含义APP并接入无线路由器1所建立的局域网络4后,开始接收配备专用APP的非触摸显示屏设备3发送的socket连接请求,当接收到socket连接请求后与配备专用APP的非触摸显示屏设备3建立连接;
(2)无线发送手势含义控制信号:手持移动智能设备2将已识别的用户手势含义信号5通过已建立的socket连接发送至配备专用APP的非触摸显示屏设备3。当已获得的用户手势含义为上时,则发送“up”信号至非触摸显示屏设备3;当已识别的用户手势含义为下时,则发送“down”信号至非触摸显示屏设备3;当已识别的用户手势含义为左时,则发送“left”信号至非触摸显示屏设备3;当已识别的用户手势含义为右时,则发送“right”信号至非触摸显示屏设备3。若已获得的用户手势含义为确定时,则发送“ok”信号至非触摸显示屏设备3。
记当前已选中区域的四个坐标值分别为current_Yup、current_Ydown、current_Xleft和current_Xright,如图2所示,不规则多边形区域切换步骤又包括以下步骤:
(1)将不规则多边形区域转换为矩形区域,其又包括以下子步骤,如图2、图3所示:
(1.1)获取给定的每个不规则多边形之所有邻接边交点的横坐标和纵坐标值:通过读取文件或解析XML文件获取图4中区域4中每一个不规则多边形之所有邻接边交点纵横坐标值对,并存储在二维数组(X,Y)中,如图3所示,将获得的坐标由(X,Y)={(x1,y1),(x2,y2),…,(x8,y8)}转换为X=x2{x1,x2,…,x8}和Y={y1,y2,…,y8}形式。
(1.2)确定作为矩形范围的四个坐标值Xleft、Xright、Yup和Ydown:如图3所示,取不规则多边形区域中数组X的最小值x8(也即x7)作为Xleft,Xright取X的第二小值x5(也即x6);取(X,Y)中所有横坐标等于最小值(即Xleft)的纵坐标y8和y7并存入数组Y'中;数组Y'长度大于1,则所述Yup取Y'的最小值y8,所述Ydown取Y'的最大值y7,当数组Y'长度小于1时,所述Ydown、Yup分别取Y中最大值、最小值。并将x8,x5,y8和y7分别赋值于实体类Node中的四个属性Xleft、Xright、Yup和Ydown。
(2)获取最匹配的切换区域,其又包括以下子步骤,如图4、图5所示:
(2.1)获取基准点坐标值:获取当前指定不规则多边形区域1的四个坐标值current_Yup、current_Ydown、current_Xleft和current_Xright;
(2.2)选择符合条件的不规则多边形区域:根据大屏控制器接收到的信号不同,分别将显示屏中已转换的标记矩形的四个坐标值Xleft、Xright、Yup和Ydown与不规则多边形区域1的current_Yup、current_Ydown、current_Xleft和current_Xright坐标值相比较,保存每个符合条件的多边形区域的Xleft、Xright、Yup、Ydown四个坐标值至Node实体类中,并记录符合条件的区域数N。例如,当接收的信号为“up”时,将每个转换后的规则多边形的Ydown与不规则多边形区域1的current_Yup相比,当Ydown小于区域1的current_Yup且其在X轴上与区域1有一定交集(即Xleft或Xright值位于current_Xleft和current_Xright之间,或者Xleft小于current_Xleft,Xright大于current_Xright)时,即判定该区域在区域1的上侧,在图5中,区域1的上侧没有不规则多边形区域,故符合条件的区域数为0;当接收到的信号为“down”时,将每个多边形的Yup与区域1的current_Ydown相比,当Yup大于current_Ydown且其在X轴上与区域1有交集时,即判定该区域在区域1的下侧,如图5中位于区域1下侧且符合条件的不规则多边形区域为6和7,记符合条件的区域数为2,并保存相应区域的四个坐标值至Node实体类中;当接收到的信号为“left”时,将每个转换后的规则多边形的Xright与区域1的current_Xleft相比,当Xright小于current_Xleft且其在Y轴上有一定交集(即Yup或Ydown值位于current_Yup和current_Ydown之间,或者Yup小于current_Yup,Ydown大于current_Ydown)时,则判定该不规则多边形区域在区域1的左侧,如图5中,不规则多边形区域的左侧没有任何区域,故区域1左侧的符合条件的区域数为0;当接收到的信号为“right”时,将每个转换后的规则多边形的Xleft与current_Xright相比,当Xleft大于current_Xright且其在Y轴上有一定交集时,则判定该不规则多边形区域在区域1的右侧,如图5中,位于区域1右侧且符合条件的不规则多边形区域有区域2、3、4和5,记符合条件的区域数为4,并保存相应区域的四个坐标值至Node实体类;
(2.3)根据符合条件的区域数执行不同操作:当符合条件的区域数N为0时,如子步骤(2.2)中得到的位于当前已选中区域上、左侧区域的不规则多边形数为0,则当前已选定区域不改变,当N等于1时,则将当前已选定区域直接切换到符合条件的不规则多边形区域,切换结束;否则当N大于1时,执行子步骤(2.4)和(2.5);
(2.4)去除符合条件的区域中离当前已选定区域较远的不规则多边形区域:取子步骤(2.2)中所记下的所有Node实体类中的值,根据用户手势含义,按照以下方法仅保留离当前已选定区域最近的一排或一列的不规则多边形区域,该方法的具体操作为:当非触摸显示屏接收到的手势含义信号为“down”时,取子步骤(2.2)中所记下的不规则多边形区域6和7的Node类型值中Ydown的最小值min_Ydown(即区域6的Ydown),并与不规则多边形区域7的Yup相比较,当区域7的Yup大于min_Ydown,则判定区域7相比与区域6离当前指定区域1较远,则删除子步骤(2.2)中记下的Node实体类中区域7的坐标值;当非触摸显示屏接收到的手势含义信号为“right”时,选取子步骤(2.2)中记下的Node实体类中区域2、3、4和5的坐标值中Xright的最小值min_Xright,并将min_Xright与Node实体类这四个区域的Xleft相比较,当某一个区域的Xleft值大于min_Xright,则判定该区域离当前已选定区域较远,即不规则多边形区域3和4相较于区域2和5较远,则删除子步骤(2.2)中记下的Node实体类中区域3和4的坐标值;同理,当非触摸显示屏接收到的手势含义信号为“up”时,则分别获取已记下Node实体类中多边形区域中Yup最大值max_Yup,并与Node实体类中其他多边形区域的Ydown相比较,当Ydown小于max_Yup,则表示该多边形区域不是离当前已选定区域最近的一排,去掉Node实体类中该不规则多边形区域的坐标值;当非触摸显示屏接收到的手势含义信号为“left”时,去掉Node实体类中所记下的多边形区域中Xright小于max_Xleft的区域的坐标值。
(2.5)确定最终切换区域实现不规则多边形区域切换:当非触摸显示屏接收到的手势含义信号为“down”时,计算子步骤(2.4)中已保留的不规则多边形区域6和区域7离原点(即左上角)的距离dis=Xleft+Yup,选择dis最小的区域6为指定切换区域,并将区域6的Node类型中的四个坐标值分别赋值给标记当前已选定区域的current_Yup、current_Ydown、current_Xleft和current_Xright四个坐标值;同理,当非触摸显示屏接收到的手势含义信号为“right”时,则选取不规则多边形区域2为指定切换区域,并将标记当前已选定区域的坐标值更新为不规则多边形区域2的坐标值,实现显示屏中切换到指定不规则多边形区域。
基于手势识别和无线遥控的显示屏中不规则多边形区域的切换系统,其包括:一个无线路由器1,一个非触摸显示屏设备3和一个手持移动智能设备2,如图6所示。
无线路由器1经过设置,其一旦连接入网络,即将建立一个无线局域网络4,方便非触摸显示屏设备3和手持移动智能设备2连入该无线局域网,使其工作于同一局域网络内,实现非触摸显示屏设备和手持移动智能设备相互间的通信。
手持移动智能设备2配备了专用APP,可以连入无线路由器1所建立的无线局域网;而且可以接收其他设备发送的与其建立socket连接的请求信号并与之建立socket连接;启动专用APP后还可识别用户手势含义,并将识别出的手势含义信号通过无线网络4发送至大屏设备3。在实施过程中,手持移动智能设备2为服务移动终端,一般为用户手持终端,比如智能手机、平板电脑之类,使用Android一类的操作系统,该类设备可以开启wifi设置并连入网络。手持移动智能设备2配备的专用APP一启动,即开始获取系统Wifi管理权限,用于检查手持移动智能设备2是否成功连接网络;当连接网络成功,则将其加入广播组235.9.8.8中,并通过6789端口广播手持移动智能设备2的ip地址,同时在系统中开启指定端口54322的socket服务端进程等待客户连接请求;当手持移动智能设备2等待到socket连接请求,则与其建立连接,发送连接成功消息“success”并停止广播ip地址进程;socket连接成功之后,手持移动智能设备2配备的专用APP中的加速度传感器监听器不断监听加速度值是否变化,当加速度值发生变化则开始采集数据并识别出用户手势含义,随后通过socket方式将识别出的手势含义发送至非触摸显示屏设备3。
非触摸显示屏设备3一开机即启动已配备的专用APP,可接收广播组235.9.8.8中的广播信号,当接收到广播信号即与接收到的ip信号建立socket连接;连接成功之后不断接收手持移动智能设备2发送的手势含义信号,并根据接收到的手势含义信号不同,实现非触摸显示屏中切换到指定不规则多边形区域。
下面是一个基于手势识别和无线控制的显示屏中不规则多边形区域切换的一个具体实施例,见图7所示:
在本具体实施例中,以阅读电子报纸中刊登的每个子新闻为例,结合附图7详细介绍一个基于手势识别和无线控制的显示屏中不规则多边形区域切换的过程。其中,智能android手机作为手持移动智能设备,带有显示屏的嵌入式android设备作为非触摸显示屏设备,且电子报纸存储在非触摸显示屏设备本地的SD卡中。具体步骤如下:
步骤S1,用户手持作为手持移动智能设备的智能安卓手机,连入无线路由器组建的网络,启动配备的专用手势识别app;手势识别app获取智能手机的ip地址,并将ip地址通过端口为6789的广播组235.9.8.8广播出去,同时开启指定端口54322的socket服务端进程等待客户设备的连入;
步骤S2,专用不规则多边形区域切换app设置为非触摸显示屏设备的开机启动项,当带显示屏的安卓设备接收到广播的ip地址信号后,请求与智能安卓手机建立socket连接;
步骤S3,用户智能安卓手机接收到带显示屏设备的建立socket连接请求信号,则关闭广播进程,并发送连接成功消息“success”至带显示屏设备,同时开启加速度传感器监、监听器监听用户智能手机的加速度是否发生变化;
步骤S4,带显示屏设备接收到连接成功信号“success”,则等待接收用户智能安卓手机发送的手势含义信号;
步骤S5,当用户甩动智能安卓手机。则其加速度值发生变化时,采集加速度值并识别用户手势含义,将相应手势含义通过已建立的socket连接发送至带显示屏的安卓设备;
步骤S6,带显示屏的安卓设备接收到用户手势含义信号后,根据用户手势含义将显示屏中的不规则多边形切换至指定区域,最终完成不规则多边形区域的切换。
Claims (8)
1.一种显示屏中不规则多边形区域的切换方法和系统,其特征在于,手持移动智能设备识别手势含义并生成相应信号后由无线传输方式将所述信号发送至非触摸大屏控制设备,非触摸大屏控制设备接收到手势含义信号后将显示屏中当前选中区域切换至指定的不规则多边形区域。
2.根据权利要求1所述的一种显示屏中不规则多边形区域的切换方法,其特征在于,识别手势含义包括以下步骤:
(1)采集手势数据,即利用手持移动智能设备采集手势的加速度数据,其又包括以下子步骤:
(1.1)计算实际加速度值:实时读取手持移动智能设备在移动过程中其加速度传感器返回的在X、Y、Z轴方向上的加速度值,并据此计算滤除重力后的加速度即实际加速度值,记为val,当此刻实际加速度值val达到指定阈值时,执行子步骤(1.2);否则执行子步骤(1.1),实际加速度值val计算公式如下:
其中x、y、z分别表示加速度传感器三个坐标轴传回的同一时刻的数据,g表示重力加速度;
(1.2)记录加速度数据:分别记录当前时刻加速度传感器返回的X、Y、Z三个方向上的加速度值,并据此计算各时刻实际加速度值和欧氏距离,记为dis,欧式距离计算公式如下:
其中,(xt,yt,zt)表示t时刻的各轴上的加速度数据,(xt-1,yt-1,zt-1)表示t-1时刻的数据;
(1.3)确定手势是否停止:当记录的某一时刻的实际加速度值和欧氏距离分别小于指定阈值,则将标记手势是否减速的变量值number加一,执行子步骤(1.4);否则,令number等于0并执行子步骤(1.2);
(1.4)确定是否停止采集加速度数据:当标记手势是否减速的变量值number大于指定阈值时,则判定手势结束并停止采集数据,执行子步骤(1.5);否则继续执行子步骤(1.2);
(1.5)判定采集的加速度数据是否有效:计算已记录加速度数据的数组长度,当数组长度大于指定阈值时,则判定此次手势有效;否者判定此次手势为无效即抖动,初始化参数并执行子步骤(1.1);
(2)根据所采集的手势数据识别手势含义,即对已采集的与用户手势对应的X、Y、Z轴上的加速度数据进行处理,确定用户手势的具体方向,从而判定用户手势含义,如“上”、“下”、“左”或“右”,,其又包括以下子步骤:
(2.1)计算幅度差值:对已采集的X、Y、Z轴上的加速度数据分别计算其幅度差值,记为AX、AY、AZ,并分别保存在三个数组中,其计算公式如下:
其中l为子步骤(1.5)中计算得到的每组数组长度,为X轴ti时刻的加速度值,为Y轴ti时刻的加速度值,为Z轴ti时刻的加速度值;
(2.2)确定与手势运动方位所匹配的坐标轴:分别取子步骤(2.1)中所得到的三个存放加速度数据数组中幅度差值的最大值并相比较,保留其最大幅度差值所对应的坐标轴上的加速度数据,并确定该坐标轴是用户此次手势运动方位所匹配的坐标轴;
(2.3)确定手势指向在已匹配坐标轴上的方向,即正方向或负方向:取子步骤(2.2)中保留的坐标轴上的加速度的最小值,记为min,同时记下该值在该数组中的索引号index,并取索引号0~index对应的数据中最大值并记为max和数组中索引号为index+1处的值并记为nextValue;当index大于0,max大于0且min小于指定阈值时,若nextValue大于指定阈值则确定手势指向是已匹配坐标轴上的负方向,若nextValue小于指定阈值则确定手势指向是已匹配坐标轴上的正方向;而当index等于0,则min小于指定阈值时,若nextValue大于指定阈值则确定手势指向是已匹配坐标轴上的负方向,若nextValue小于指定阈值则确定手势指向是已匹配坐标轴上的正方向;
(2.4)确定手势含义:当用户手势沿X轴正方向运动则判定为右,沿X轴反方向运动则判定为左,X轴为水平方向;当用户手势沿Z轴正方向运动则判定为上,沿Z轴反方向运动则判定为下,Z轴为垂直方向;当用户手势沿Y轴正方向运动则判定为确定,Y轴正方向为远离做出手势的用户正前方方向。
3.根据权利要求1所述的一种显示屏中不规则多边形区域的切换方法,其特征在于,通过手持移动智能设备由无线传输方式将相应手势含义信号发送至非触摸大屏控制设备步骤又包括以下步骤:
(1)建立连接:非触摸大屏控制设备一启动即连入所在的无线局域网,当手持移动智能设备进入该无线局域网并成功连入该无线局域网时,启动手持移动智能设备中配备的通信APP并运行即可与处于同一局域网内的非触摸大屏控制设备通过无线方式进行通信;
(2)无线发送手势含义控制信号:手持移动智能设备将已识别出的手势含义控制信号,通过步骤(1)建立的连接无线发送至非触摸大屏控制设备。
4.根据权利要求1所述的一种显示屏中不规则多边形区域的切换方法,其特征在于,当前选中区域切换至显示屏中指定的不规则多边形区域步骤包括以下步骤:
(1)将不规则多边形区域转换为矩形区域,即根据不规则多边形的各坐标值,选取合适的坐标值使不规则多边形区域转换为矩形,其又包括以下子步骤:
(1.1)获取给定的每个不规则多边形之所有邻接边交点的横坐标和纵坐标值:获取给定的每个不规则多边形之所有邻接边交点的横坐标和纵坐标值,分别保存到数组X和Y中;
(1.2)确定作为矩形范围的四个坐标值Xleft、Xright、Yup和Ydown:Xleft取每个不规则多边形中横坐标X中的最小值,Xright取每个不规则多边形中横坐标X的第二小值,同时取出每个不规则多边形中所有横坐标等于最小值的对应纵坐标并存入数组Y'中;当数组Y'长度大于1时,Yup取数组Y'中的最小值,所述Ydown取数组Y'中的最大值,当数组Y'长度小于1时,所述Ydown、Yup分别取每个不规则多边形中纵坐标Y中最大值、最小值。
(2)获取最匹配的切换区域:即以当前选中区域为基准点,找到位于此当前选中区域的上、下、左或右四方中所有最邻近的区域,并从这些区域中确定最终要切换到的区域,其又包括以下子步骤:
(2.1)获取基准点坐标值:获取当前选中多边形区域对应的矩形的四个坐标值,并赋值给基准点坐标值current_Yup、current_Ydown、current_Xleft和current_Xright;
(2.2)选择符合条件的不规则多边形区域:根据不同手势含义,分别将上述子步骤(1.2)获得的每个不规则多边形的四个坐标值Xleft、Xright、Yup和Ydown与上述子步骤(2.1)中获取的current_Yup、current_Ydown、current_Xleft和current_Xright坐标值按照切换规则相比较,保存每个符合切换规则的区域的Xleft、Xright、Yup、Ydown四个坐标值,并记录符合切换规则的区域数N;所述“切换规则”具体为:当手势含义为上时,将每个不规则多边形的Ydown与current_Yup相比,当Ydown小于current_Yup且其在X轴上有一定交集则判定其符合条件,即在当前选中不规则多边形的上侧;当手势含义为下时,将每个不规则多边形的Yup与current_Ydown相比,当Yup大于current_Ydown且其在X轴上有一定交集则判定其符合条件,即在当前选中不规则多边形的下侧;当手势含义为左时,将每个不规则多边形的Xright与current_Xleft相比,当Xright小于current_Xleft且其在Y轴上有一定交集则判定其符合条件,即在当前选中不规则多边形的左侧;当手势含义为右时,将每个不规则多边形的Xleft与current_Xright相比,当Xleft大于current_Xright且其在Y轴上有一定交集则判定其符合条件,即在当前选中不规则多边形右侧;
(2.3)根据符合条件的区域数执行不同操作:当符合条件的区域数N为0时,转子步骤(2.6);当N等于1时,则将当前选中区域直接切换到符合切换规则的不规则多边形区域,转子步骤(2.6);当N大于1时,则继续执行子步骤(2.4);
(2.4)去除符合条件的区域中离当前已选中区域较远的不规则多边形区域:取上述子步骤(2.2)中所记下的所有不规则多边形,根据接收的手势含义,采用坐标比较法仅保留离当前选中区域最近的一排或一列不规则多边形区域。所述“坐标比较法”具体为:当接收的手势含义为上时,取上述子步骤(2.2)中所记下的所有不规则多边形区域中Yup的最大值,记为max_Yup,并与上述子步骤(2.2)中记下的不规则多边形区域的Ydown相比较,当Ydown小于max_Yup,则表示该多边形区域不是离当前选中区域最近的一排,去掉该不规则多边形区域;同理,当接收的手势含义为下时,去掉上述子步骤(2.2)中所记下的不规则多边形区域中Yup大于min_Ydown的区域;当接收的手势为左时,去掉上述子步骤(2.2)中所记下的不规则多边形区域中Xright小于max_Xleft的区域;当接收的手势含义为右时,去掉上述子步骤(2.2)中所记下的不规则多边形区域中Xleft大于min_Xright的区域。
(2.5)确定最终切换区域实现不规则多边形区域切换:计算上述子步骤(2.4)中已保留的不规则多边形区域离原点,即左上角的距离dis,选择dis最小的区域为最终切换区域,并将该最终切换区域的四个坐标值分别赋值给标记当前选中区域的current_Yup、current_Ydown、current_Xleft和current_Xright四个坐标值,dis计算公式如下:
dis=Xleft+Yup。
(2.6)切换步骤结束。
5.一种显示屏中不规则多边形区域的切换系统,其特征在于,其包括无线路由器、手持移动智能设备和非触摸大屏控制设备,所述手持移动智能设备通过无线路由器无线连接所述非触摸大屏控制设备。
6.根据权利要求5所述的一种显示屏中不规则多边形区域的切换系统,其特征在于,所述无线路由器能够通过wifi技术建立一个无线局域网络,方便手持移动智能设备和非触摸大屏控制设备加入该无线局域网,并通过该网络实现手持移动智能设备和非触摸大屏控制设备之间的相互通信。
7.根据权利要求5所述的一种显示屏中不规则多边形区域的切换系统,其特征在于,所述手持移动智能设备,可与所述无线路由器建立连接;当手持移动智能设备的加速度值发生变化时,所述手持移动智能设备利用权利要求2的步骤(1)来实时采集加速度传感器返回的加速度数据,并根据权利要求2的步骤(2)对采集到的加速度数据进行处理、识别出用户手势含义,且将相应手势含义信号无线发送至位于同一局域网内的非触摸大屏控制设备。
8.根据权利要求5所述的一种显示屏中不规则多边形区域的切换系统,其特征在于,所述非触摸大屏控制设备包括非触摸显示屏和显示屏控制器两部分,显示屏控制器可与所述无线路由器建立连接,可接收所述手持移动智能设备发送的手势含义信号,且可根据权利要求4中步骤(1)和(2)确定最匹配的不规则多边形区域,并将显示屏中当前选中区域切换至已确定的最匹配不规则多边形区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510543114.5A CN105117015B (zh) | 2015-08-28 | 2015-08-28 | 一种显示屏中不规则多边形区域的切换方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510543114.5A CN105117015B (zh) | 2015-08-28 | 2015-08-28 | 一种显示屏中不规则多边形区域的切换方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105117015A true CN105117015A (zh) | 2015-12-02 |
CN105117015B CN105117015B (zh) | 2018-01-23 |
Family
ID=54665030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510543114.5A Expired - Fee Related CN105117015B (zh) | 2015-08-28 | 2015-08-28 | 一种显示屏中不规则多边形区域的切换方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105117015B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112463086A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 一种显示控制方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120272194A1 (en) * | 2011-04-21 | 2012-10-25 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
CN103455265A (zh) * | 2012-06-01 | 2013-12-18 | 腾讯科技(深圳)有限公司 | 受控设备的控制方法和系统、移动终端和受控设备 |
CN103914149A (zh) * | 2014-04-01 | 2014-07-09 | 复旦大学 | 一种面向互动电视的手势交互方法和系统 |
CN104503254A (zh) * | 2014-12-22 | 2015-04-08 | 珠海格力电器股份有限公司 | 一种家用电器的自定义控制方法及系统 |
CN104866110A (zh) * | 2015-06-10 | 2015-08-26 | 深圳市腾讯计算机系统有限公司 | 一种手势控制方法,移动终端及系统 |
-
2015
- 2015-08-28 CN CN201510543114.5A patent/CN105117015B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120272194A1 (en) * | 2011-04-21 | 2012-10-25 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
CN103455265A (zh) * | 2012-06-01 | 2013-12-18 | 腾讯科技(深圳)有限公司 | 受控设备的控制方法和系统、移动终端和受控设备 |
CN103914149A (zh) * | 2014-04-01 | 2014-07-09 | 复旦大学 | 一种面向互动电视的手势交互方法和系统 |
CN104503254A (zh) * | 2014-12-22 | 2015-04-08 | 珠海格力电器股份有限公司 | 一种家用电器的自定义控制方法及系统 |
CN104866110A (zh) * | 2015-06-10 | 2015-08-26 | 深圳市腾讯计算机系统有限公司 | 一种手势控制方法,移动终端及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112463086A (zh) * | 2019-09-06 | 2021-03-09 | 华为技术有限公司 | 一种显示控制方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN105117015B (zh) | 2018-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10952267B2 (en) | Terminal and method for connecting to target devices | |
US8508478B2 (en) | Devices, systems and methods for remote control input | |
US20090273560A1 (en) | Sensor-based distributed tangible user interface | |
CN110049476B (zh) | 设备推送的方法、装置、移动终端以及存储介质 | |
KR20130081068A (ko) | 복수의 휴대 단말들을 이용하여 멀티 비전 시스템을 구축하는 방법 및 이를 위한 장치 | |
CN110166439B (zh) | 设备共享方法、终端、路由器及服务器 | |
CN102346643A (zh) | 可学习型遥控器实现方法及装置 | |
CN103491444B (zh) | 图像互动方法和系统以及对应的显示装置 | |
JP7394879B2 (ja) | 撮像方法及び端末 | |
CN104076988B (zh) | 一种显示方法、显示控制方法及电子设备 | |
US11412555B2 (en) | Mobile terminal | |
CN108415643B (zh) | 一种图标显示方法及终端 | |
JP5373151B2 (ja) | 情報処理装置、情報処理装置の制御方法、被制御装置、被制御装置の制御方法、サーバ、サーバの制御方法、ペアリングシステム、制御プログラム、および記録媒体 | |
CN105246024A (zh) | 终端设备配对连接的方法及系统 | |
WO2022152001A1 (zh) | 手势识别方法和装置、电子设备、可读存储介质和芯片 | |
US20160112279A1 (en) | Sensor-based Distributed Tangible User Interface | |
CN105916177A (zh) | 一种进行无线通讯的方法和装置 | |
CN111414097A (zh) | 一种交互方法、交互系统和显示设备 | |
CN111313114B (zh) | 一种充电方法及电子设备 | |
CN109388238A (zh) | 一种电子设备的控制方法及装置 | |
KR102102396B1 (ko) | 이동 단말기 | |
CN109491964B (zh) | 一种文件分享方法及终端 | |
CN104023207A (zh) | 单呼即通实况通信终端、方法及工具 | |
CN105117015A (zh) | 一种显示屏中不规则多边形区域的切换方法和系统 | |
CN103020616B (zh) | 一种手持设备空间位置的检测方法及其手持设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180123 |
|
CF01 | Termination of patent right due to non-payment of annual fee |