CN109144645B

CN109144645B - 自定义交互区域的区域定义、展示与识别方法

Info

Publication number: CN109144645B
Application number: CN201810945928.5A
Authority: CN
Inventors: 段玉聪; 张欣悦; 朱东海
Original assignee: Hainan University
Current assignee: Hainan University
Priority date: 2018-08-20
Filing date: 2018-08-20
Publication date: 2020-01-10
Anticipated expiration: 2038-08-20
Also published as: CN109144645A

Abstract

本发明是自定义交互区域的区域定义、展示与识别方法，区域定义包括外观定义和指令定义，外观定义指用户自由绘制外观，包括大小，颜色，位置和形状，用户定义外观后，用户可以自定义每个交互区域的对应指令和触发方式；结束区域定义后，本发明给出了自定义区域的展示方法和针对个体和群体形状的识别方法，识别出区域后对识别区域内和区域外进行编码；本发明属于计算机配件技术与软件工程交叉领域。

Description

自定义交互区域的区域定义、展示与识别方法

技术领域

本发明是自定义交互区域的区域定义、展示与识别方法，属于计算机配件技术与软件工程交叉领域。

背景技术

日常生活中便携式移动终端，如手机已经几乎成为人手一部的产品，在使用屏幕上的交互区域时会出现不方便的情况，第一，以手机键盘为例，所有键盘都是按照系统设置好的模式布局，键盘的大小，形状等已经固定，唯一灵活的个性化设置也只能更改背景图片；第二，在各个键盘间切换很繁琐，尽管已有系统提供了便捷切换方式，但这种便捷切换方式使用依旧不便，例如在使用了中文键盘后想切换到表情符号键盘，却直接进入了英文键盘，无法在第一时间满足使用者的目标需求；第三，便携式移动终端没有提供交互区域简单迅速地完成使用者的目标需求，例如，使用者想在主页一键完成图标的整理，或者背景的设置，这些都是目前的交互区域的短板；本发明是自定义交互区域的区域定义、展示与识别方法，区域定义包括外观定义和指令定义，外观定义指用户自由绘制外观，包括大小，颜色，位置和形状，用户定义外观后，用户可以自定义每个交互区域的对应指令和触发方式；结束区域定义后，本发明给出了自定义区域的展示方法和针对个体和群体形状的识别方法，识别出区域后对识别区域内和区域外进行编码。

发明内容

体系结构

图1给出了自定义交互区域的区域定义、展示与识别方法的体系图；区域定义包括外观定义和指令定义，外观定义指用户自由绘制外观，包括大小，颜色，位置和形状，用户定义外观后，用户可以自定义每个交互区域的对应指令和触发方式；结束区域定义后，本发明给出了自定义区域的展示方法和针对完整和不完整的形状的识别方法，识别出区域后对识别区域内和区域外进行编码；

区域定义（DIY）：区域定义（DIY）分为外观定义（DIY_IND）和指令定义（DIY_OR）两部分；用户（U）在可视化窗口上自由绘制交互区域（DIY_IND），DIY_IND ={IND_Num，IND_Size，IND_CL，IND_RelLoc，IND_Fi}，IND_Num是自定义交互区域的编号，方便区分不同的DIY_IND，编号可由用户自定义，也可由系统默认编号，每一个DIY_IND可以表示多个指令（DIY_OR）内容；IND_Size是交互区域的大小，由像素集合来衡量，像素集合构成一个区域，区域内的所有像素都可触发交互区域进而执行用户指令（DIY_OR）；IND_CL指交互区域的颜色，IND_CL={px，RGB（red，green，blue）}，px指像素，RGB由R（red），G（green），B（blue）三种颜色的比例来配色，每一项的值可以是0~255之间的整数，也可以是0%~100%的百分数；IND_RelLoc是指交互区域（DIY_IND）的相对于屏幕的相对位置，在用户对DIY_IND进行拖拉后，记录DIY_IND移动后的最终所在像素位置；IND_FI指交互区域的形状，记录用户自定义后的区域形状，形状分为个体（l）和群体（m），个体形状的分类如表1所示；

表1 形状的分类一览表

指令部分（DIY_OR）： DIY_OR={IND_NUM，OR_DES，OR_TRI}，IND_NUM是自定义交互区域的编号，方便区分不同的DIY_IND，每一个DIY_IND可以表示多个指令内容；OR_DES指自定义区域要执行的指令内容；因为本专利不限定屏幕的类型，所以OR_TRI指自定义区域所要执行的指令内容的触发方式。

展示部分（SW）：SW={IND_Num，IND_CL，IND_RelLoc，IND_Fi，OR_DES，SW_Way}，IND_Num指自定义交互区域的编号，展示时的颜色即为DIY_IND中所存的用户自定义颜色（IND_CL），展示时的位置即为DIY_IND中自定义区域相对于屏幕的相对位置（IND_RelLoc），展示时的形状即为DIY_IND中所存的用户自定义形状（IND_Fi），每个DIY_IND可以对应一个或多个OR_DES，若存放着多个OR_DES，就要采用SW_Way中存放的展示形式呈现，例如选择一个交互区域后，将所有OR_DES线性显示出来，再由用户自己选择其中的一个OR_DES执行；也可以将所有OR_DES围绕DIY_IND按圆圈排开，用户自己选择其中的一个圆圈执行……SW_Way由用户自定义；

触发区域的识别（IDEN）：这是为了识别在用户自定义绘制出图形后的区域范围，IDEN={Cla，Sol，IndMeth}由三个算法组成；算法1展示了多功能交互区域是被触发区域的过程；

（1）Cla(IND _Fi，n)→l∪m：形状分类函数Cla基于用户自定义的交互区域IND中的形状IND_FI，当形状距离在n（通过机器学习得到）内，记为l，表明是个体形状，若超过n，记为m，表示形状是群体；

（2）Sol（l，α）→l _i：当点、线、区域结合为一个个体时，判定为点或线或区域，称为个体形状分类，个体形状分类函数Sol基于Cla函数得到的个体形状分类l，如上文中表1所示，l分为点（l ₁），线（l ₂）和区域（l ₃），结合大小阈值α（由机器学习得到），如当l ₁和l ₂结合在一起，在阈值范围内记为l ₁，否则记为l ₂。

（3）IndMeth（Cla，pro ₁ ）→（k，h）：范围识别函数基于形状分类函数Cla，Cla圈定范围即为用户接触后可触发指令的区域范围，k为图形中心，h为距离k的圈定距离；当图形不完整时，结合插值处理pro₁选择平滑性表现较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素使图形完整；

（4）IndMeth（Cla，pro ₁ ，pro ₂）→（k，h）：范围识别函数基于形状分类函数Cla，Cla圈定范围即为用户接触后可触发指令的区域范围，k为图形中心，h为距离k的圈定距离；当图形不完整时，结合插值处理（pro₁）选择平滑性表现较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素使图形完整；当图形为群体形状时，则通过投影的方式得到每个图形的中心点，再经过聚类算法（pro₂）找寻整个范围内的中心点；

表2展示了自定义交互区域例子及根据算法1识别的结果，识别结果范围如灰色虚线圈所示；

表2 识别方法对应的例子及识别结果

触发部分（TH）：在不同类型的屏幕上有不同的触发形式，当在屏幕（不限定屏幕类别）上进入编码为0的区域，则为触发成功，交互区域开始工作；在双面屏中，触发可从相对于正面屏幕的背面屏幕进行，或者由两面屏幕一起进行，又或者从正面屏幕触发从背面屏幕显示；触发可以由压力的不同、接触交互区域的次数、接触交互区域的时间长短等等方式发生；所有形式全部都由用户自定义；

有益效果：

本发明方法提出了自定义交互区域的区域定义、展示与识别方法，有如下优点：

1）本发明提出的交互区域实现了个性化，能够让用户通过绘制来自定义交互区域的外观和执行指令的内容等；

2）本发明提出的交互区域由用户自定义，符合用户的使用习惯，用户可以简单迅速地完成目标指令需求。

附图说明

图1是自定义交互区域的区域定义、展示与识别方法的体系图；

图2是自定义交互区域的区域定义、展示与识别方法的具体实施流程图。

具体实施方式

自定义交互区域的区域定义、展示与识别方法的具体流程如下：

步骤1）对应图2中001所示，进入自定义部分（DIY），自定义部分分为交互区域（DIY_IND）和指令（DIY_OR）两部分；

步骤2）对应图2中002所示，用户在可视化窗口上自由绘制交互区域（DIY_IND），DIY_IND ={IND_Num，IND_Size，IND_CL，IND_RelLoc，IND_Fi}，IND_Num是自定义交互区域的编号，方便区分不同的DIY_IND，每一个DIY_IND可以表示多个指令（DIY_OR）内容；

步骤3）对应图2中003所示，记录用户自定义交互区域的颜色（IND_CL），IND_CL指交互区域的颜色，IND_CL={px，RGB（red，green，blue）}，px指像素，RGB由R（red），G（green），B（blue）三种颜色的比例来配色，每一项的值可以是0~255之间的整数，也可以是0%~100%的百分数；

步骤4）对应图2中004所示，记录用户自定义交互区域相对于屏幕的位置（IND_RelLoc）在用户对DIY_IND进行拖拉后，记录DIY_IND移动后的最终所在像素位置；

步骤5）对应图2中005所示，记录范围内交互区域的大小（IND_Size），由像素集合来衡量，像素集合构成一个区域，区域内的所有像素都可触发交互区域进而执行用户指令（DIY_OR）；

步骤6）对应图2中006所示，记录交互区域的形状（IND_Fi），IND_Fi指用户自定义后的交互区域形状，形状分为个体（l）和群体（m），个体形状的分类如表1所示；

表1 形状的分类一览表

步骤7）对应图2中007所示，进入自定义指令部分（DIY_OR），DIY_OR={IND_NUM，OR_DES，OR_TRI}，IND_NUM是自定义交互区域的编号，方便区分不同的DIY_IND，每一个DIY_IND可以表示多个指令内容；OR_DES指自定义区域要执行的指令内容；因为本专利不限定屏幕的类型，所以OR_TRI指自定义区域所要执行的指令内容的触发方式；

步骤8）对应图2中008所示，用户自定义指令的内容（OR_DES），用户选择一个自定义区域，会显示出指令内容，每个自定义区域可以按用户的需求表示多种不同的指令；例如一个交互区域触发后，让用户选择进行“删除第三条信息”、“屏幕变亮”、“回复社交软件第一个好友的消息”等指令中的哪一个指令，几种指令出现的方式可以通过拖拽等各种方式实现，都由用户自定义；

步骤9）对应图2中009所示，用户自定义指令的触发方式（OR_TRI），在不同类型的屏幕上有不同的触发形式，当在屏幕（不限定屏幕类别）上进入编码为0的区域，则为触发成功，交互区域开始工作；在双面屏中，触发可从相对于正面屏幕的背面屏幕进行，或者由两面屏幕一起进行，又或者从正面屏幕触发从背面屏幕显示；触发可以由压力的不同、接触交互区域的次数、接触交互区域的时间长短等等方式发生；所有形式全部都由用户自定义；

步骤10）对应图2中010所示，进入触发区域识别（IDEN），这是为了识别在用户自定义绘制出图形后的区域范围，IDEN={Cla，Sol，IndMeth}由三个算法组成；算法1展示了多功能交互区域是被触发区域的过程；

（2）Sol（l，α）→l _i：当点、线、区域结合为一个个体时，判定为点或线或区域，称为个体形状分类，个体形状分类函数Sol基于Cla函数得到的个体形状分类l，如上文表1所示，l分为点（l ₁），线（l ₂）和区域（l ₃），结合大小阈值α（由机器学习得到），如当l ₁和l ₂结合，在阈值范围内记为l ₁，否则记为l ₂；

（3）IndMeth（Cla，pro ₁ ）→（k，h）：范围识别函数基于形状分类函数Cla，Cla圈定范围即为用户接触后可触发指令的区域范围，k为图形中心，h为距离k的圈定距离；当图形不完整时，结合插值处理pro₁选择信息较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素使图形完整；

（4）IndMeth（Cla，pro ₁ ，pro ₂）→（k，h）：范围识别函数基于形状分类函数Cla，Cla圈定范围即为用户接触后可触发指令的区域范围，k为图形中心，h为距离k的圈定距离；当图形不完整时，结合插值处理（pro₁）选择信息较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素使图形完整；当图形为群体形状时，则通过投影的方式得到每个图形的中心点，再经过聚类算法（pro₂）找寻整个范围内的中心点；

。

步骤11）对应图2中011所示，用户流畅使用自定义交互区域。

Claims

1.一种自定义交互区域的区域定义、展示与识别方法，其特征在于区域定义包括外观定义和指令定义，外观定义指用户自由绘制外观，包括大小，颜色，位置和形状，定义外观后，自定义每个交互区域的对应指令和触发方式；结束区域定义后，给出了自定义区域的展示方法和针对个体和群体形状的识别方法，识别出区域后对识别区域内和区域外进行编码；自定义自适应的多功能交互区域的具体流程如下：

步骤1）进入自定义部分DIY，自定义部分分为交互区域DIY_IND和指令DIY_OR两部分；

步骤2）用户在可视化窗口上自由绘制交互区域DIY_IND，DIY_IND={IND_Num，IND_Size，IND_CL，IND_RelLoc，IND_Fi}，IND_Num是自定义交互区域的编号，方便区分不同的DIY_IND，每一个DIY_IND表示多个指令DIY_OR内容；

步骤3）记录用户自定义交互区域的颜色IND_CL，IND_CL指交互区域的颜色，IND_CL={px，RGB（red，green，blue）}，px指像素，RGB由R（red），G（green），B（blue）三种颜色的比例来配色，每一项的值能取0~255之间的整数，也能取0%~100%之间的百分数；

步骤4）记录用户自定义交互区域相对于屏幕的位置IND_RelLoc在用户对DIY_IND进行拖拉后，记录DIY_IND移动后的最终所在像素位置；

步骤5）记录范围内交互区域的大小IND_Size，由像素集合来衡量，像素集合构成一个区域，区域内的所有像素都可触发交互区域进而执行用户指令DIY_OR；

步骤6）记录交互区域的形状IND_Fi，IND_Fi指用户自定义后的交互区域形状，形状分为个体l和群体m，个体形状的分类一览表为：

其中l₁、l₂、l₃分别表示交互区域形状为点、线、区域组成的个体形状；m₁、m₂、m₃分别表示交互区域形状为线与线、区域与区域、区域与线组成的群体形状；

步骤7）进入自定义指令部分DIY_OR，DIY_OR={IND_NUM，OR_DES，OR_TRI}，IND_NUM是自定义交互区域的编号，方便区分不同的DIY_IND，每一个DIY_IND表示多个指令内容；OR_DES指自定义区域要执行的指令内容；OR_TRI指自定义区域所要执行的指令内容的触发方式；

步骤8）用户自定义指令的内容OR_DES，用户选择一个自定义区域，会显示出指令内容，每个自定义区域按用户的需求表示多种不同的指令；指令出现的方式由用户自定义；

步骤9）用户自定义指令的触发方式OR_TRI，在不同类型的屏幕上有不同的触发形式，当在屏幕上进入编码为0的区域，则为触发成功，交互区域开始工作；在双面屏中，触发从相对于正面屏幕的背面屏幕进行，或者由两面屏幕一起进行，又或者从正面屏幕触发从背面屏幕显示；触发由压力的不同、接触交互区域的次数、接触交互区域的时间长短方式发生；所有形式全部都由用户自定义；

步骤10）进入触发区域识别IDEN，这是为了识别在用户自定义绘制出图形后的区域范围，IDEN={Cla，Sol，IndMeth}由三个算法组成；多功能交互区域是被触发区域的识别过程如下：输入用户自定义图形的形状IND_F1,IND_F2,……,IND_Fn；对每个IND_Fi循环执行下述操作；将Cla(IND_Fi,n)赋值给l∪m，确定图形是个体图形还是群体图形；如果满足Cla==1，则将Sol(1,α)赋值给l_i，判断个体图形属于点或线或区域，并将IndMeth（Cla,pro₁)赋值给(k,h)；否则将IndMeth(Cla,pro₁,pro₂)赋值给(k,h)；最终输出一个以0和1编码的范围(k,h)；则(k,h)范围内编码为0，否则为1;

（1）Cla(IND_Fi，n)→l∪m：形状分类函数Cla基于用户自定义的交互区域IND中的形状IND_Fi，当形状距离在n内时，记为l，表明是个体形状，若超过n，记为m，表示形状是群体，其中n通过机器学习得到；

（2）Sol（l，α）→l_i：当点、线、区域结合为一个个体时，判定为点或线或区域，称为个体形状分类，个体形状分类函数Sol基于Cla函数得到的个体形状分类l，其中α为阈值由机器学习得到；

（3）IndMeth（Cla，pro₁）→（k，h）：范围识别函数基于形状分类函数Cla，Cla圈定范围即为用户接触后可触发指令的区域范围，k为图形中心，h为距离k的圈定距离；当图形不完整时，结合插值处理pro₁选择信息较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素使图形完整；

（4）IndMeth（Cla，pro₁，pro₂）→（k，h）：范围识别函数基于形状分类函数Cla，Cla圈定范围即为用户接触后可触发指令的区域范围，k为图形中心，h为距离k的圈定距离；当图形不完整时，结合插值处理pro₁选择信息较好的像素作为增加、弥补空白像素的空间，而并非只使用临近的像素使图形完整；当图形为群体形状时，则通过投影的方式得到每个图形的中心点，再经过聚类算法pro₂找寻整个范围内的中心点。