CN113515228A - 一种虚拟标尺显示方法以及相关设备 - Google Patents

一种虚拟标尺显示方法以及相关设备 Download PDF

Info

Publication number
CN113515228A
CN113515228A CN202110644928.3A CN202110644928A CN113515228A CN 113515228 A CN113515228 A CN 113515228A CN 202110644928 A CN202110644928 A CN 202110644928A CN 113515228 A CN113515228 A CN 113515228A
Authority
CN
China
Prior art keywords
gesture
touch screen
contact
virtual scale
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110644928.3A
Other languages
English (en)
Inventor
叶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110644928.3A priority Critical patent/CN113515228A/zh
Publication of CN113515228A publication Critical patent/CN113515228A/zh
Priority to PCT/CN2022/097085 priority patent/WO2022257870A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种虚拟标尺显示方法,包括:检测与触摸屏的接触手势,并基于接触手势指示用户的手侧面与触摸屏的接触,在触摸屏上显示虚拟标尺。本申请当检测到接触手势指示用户的手侧面与触摸屏的接触时,可以触发虚拟标尺的显示,一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。

Description

一种虚拟标尺显示方法以及相关设备
技术领域
本申请涉及终端软件领域,尤其涉及一种虚拟标尺显示方法以及相关设备。
背景技术
随着互联网及通讯技术的迅猛发展,办公信息化已日益成为整个IT服务体系中的一个重要组成部分。其中,最贴近用户的交互式触控显示设备(比如交互式电子白板)大行其道,已成为数字会议的标准配件。如图1所示,为实现更好的书写体验,交互式触控显示设备一般会配置触控笔,方便用户在屏幕上书写。
电子白板一般适用于多人讨论场景,起到类似黑板的作用。在会议室或教学场景下,有时候会有绘图、表格绘制、图案测量的需求,需要通过特定操作唤出虚拟标尺。现有的触发唤出虚拟标尺的手势较为复杂,操作难度和成本很高,且不符合用户的操作习惯。
发明内容
本申请通过检测与所述触摸屏的接触手势,并基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺。一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。
本申请实施例提供了一种虚拟标尺显示方法,应用于电子设备,所述电子设备包括触摸屏,所述方法包括:
检测与所述触摸屏的接触手势;
其中,触摸屏可以包括基于触觉接触来接收来自用户的输入的触敏表面、传感器或传感器组,“检测与所述触摸屏的接触手势”可以理解为检测到与所述触摸屏上触敏表面的接触手势;
基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。
其中,“接触区域”可以理解为可以检测到的和触敏表面相接触的区域,该区域可以为连续的区域或者是由密集的触摸点构成的离散区域(例如接触区域可以为一组密集分布的接触点构成的长条形区域);
其中,虚拟标尺与所述长条状区域的长边贴合,也就是说,在显示位置上,虚拟标尺与所述长条状区域需要很接近,在方向上,虚拟标尺与所述长条状区域的长边平行或者接近于平行;
为了能够降低用户触发虚拟标尺显示功能的操作难度和成本,本申请实施例中,当检测到接触手势指示用户的手侧面与所述触摸屏的接触时,触发虚拟标尺的显示,一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。
在一种可能的实现中,所述手侧面为用户的手部在展开状态下位于小拇指一侧的手侧面。
本申请实施例中的手侧面可以理解为用户的手部在展开状态下位于小拇指一侧的手侧面(例如包括用户手部的小鱼际部位的表面或者小拇指部位的表面中的至少一个)。
其中,手部的展开状态可以为用户的手指(或者是仅包括小拇指)处于和手掌心同一个平面(或者是接近于处于同一个平面)的状态。
在一种可能的实现中,所述接触区域包括:用户的手侧面的小鱼际部位与所述触摸屏的接触区域;或者,用户的手侧面的小拇指部位与所述触摸屏的接触区域。
手部侧面可以包括小鱼际部位的区域和小拇指部位的区域,当用户的手侧面与触摸屏接触时,可能由于手部的姿势或者用户的手型特点,出现如下的至少一种接触情况:
小鱼际部位的区域与触摸屏接触;
小拇指部位的区域与触摸屏接触;
小鱼际部位的区域和小拇指部位的区域一起与触摸屏接触。
在一种可能的实现中,所述方法还包括:基于所述接触手势的接触区域满足预设条件,确定所述接触手势指示所述用户的手侧面与触摸屏的接触;所述预设条件包括:所述接触区域为长条状区域,所述长条状区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点。
其中,形状可以理解为接触区域边界线的轮廓特征,当接触区域边界线的轮廓形状为扁平的长条状,则可以认为接触区域的形状符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的形状特点;
其中,形状也可以理解为接触区域包括的接触点的分布特征,可以通过检测触摸点的分布形状来判断是否是满足上述形状特点。(比如检测到一组密集分布的长条形的触摸点,则可以认为接触区域的形状符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的形状特点);
其中,当接触区域的面积大小在预设的范围内(该范围中的极大值不能过大,该范围中的极小值也不能过小,可以基于人的手部手侧面的特点来设定),则可以认为接触区域的面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的面积大小特点。
在一种可能的实现中,所述方法还包括:
获取所述接触手势的手势数据;
根据所述手势数据,通过神经网络,确定所述接触手势指示所述用户的手侧面与触摸屏的接触。
在一种可能的实现中,所述虚拟标尺与所述长条状区域的长边贴合,包括:
所述虚拟标尺的方向与所述长条状区域的长边指示的方向之间的锐夹角小于预设值,预设值可以为1度、2度、3度、4度、5度、10度等;且所述虚拟标尺与所述长条状区域满足如下条件的一个:
所述虚拟标尺与所述长条状区域存在重叠;或者,所述虚拟标尺与所述长条状区域相切;或者,所述虚拟标尺与所述长条状区域之间的距离小于预设值,预设值可以为1cm、2cm、3cm、4cm、5cm、10cm、15cm等。
在一种可能的实现中,所述根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺之前,所述方法还包括:检测到所述接触手势的维持时间大于预设时间。
其中,接触手势的维持时间可以是以检测到接触手势就开始计时,或者是检测到接触手势与触摸屏的接触强度大于一定接触强度阈值(大于0的阈值)之后才开始计时,维持时间可以是以检测到接触手势的接触强度为0时结束计时,或者是检测到接触手势的接触强度小于一定接触强度阈值(大于0的阈值)时结束计时。
其中,接触手势的维持时间可以是接触手势保持静止状态(或者移动小于一定幅度)时的维持时间,例如接触手势的维持时间可以是处于静止的按压手势(或者移动小于一定幅度)时的维持时间。应理解,上述静止状态可以理解为接触手势的接触区域的静止状态;
在一种可能的实现中,所述方法还包括:检测到所述接触手势的接触区域的移动;调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置跟随所述接触区域。
其中,所谓移动可以理解为,发生了位置的变化和/或方向的变化;
其中,所谓跟随,可以理解为将虚拟标尺的显示位置始终与接触手势的接触区域贴合,由于接触手势的接触区域发生了移动,进而虚拟标尺的显示位置和方向也会发生改变,且在虚拟标尺的显示区域始终保持和接触区域的长边的贴合。
在一种可能的实现中,所述方法还包括:检测到用户的抬手手势;响应于所述抬手手势,在所述触摸屏上隐藏所述虚拟标尺的显示。
其中,抬手手势可以理解为手侧面脱离触摸屏,或者是手侧面与触摸屏的接触强度小于一定的阈值,或者是手侧面与触摸屏的接触区域小于预设值。
在一种可能的实现中,所述基于所述接触手势指示所述用户的手侧面与触摸屏的接触,包括:基于所述接触手势指示所述用户的手侧面与触摸屏进行了预设次数的敲击;所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:检测到用户的抬手手势;响应于所述抬手手势,在所述触摸屏上维持所述虚拟标尺的显示。
在一些场景中,当用户抬手后仍然需要使用虚拟标尺,因此需要基于一定的手势来触发虚拟标尺在触摸屏上的固定显示;
可选的,预设次数的敲击需要在预设时间内发生,预设时间为较短的时间(例如为0.1S、0.2S、0.3S、0.4S、0.5S等);
其中,预设次数的敲击在触摸屏上的敲击位置需要保持一致,或者是允许微小的偏差。
其中,预设次数可以为2次、3次等,例如,在手侧面连续敲击两次时,虚拟标尺可以固定显示在触摸屏上。
在一种可能的实现中,所述方法还包括:检测到用户针对于所述虚拟标尺的选择指令;响应于所述选择指令,显示触发控件,所述触发控件用于指示对所述虚拟标尺进行如下的至少一种操作:删除操作、位置调整操作以及旋转操作。
如,用户可以通过点击固定显示的虚拟标尺来触发虚拟标尺的选择,在选中的同时,触摸屏会弹出触发控件,例如触发控件可以是用于指示针对于虚拟标尺的删除操作的提示,用户可以通过点击“删除”提示或者将虚拟标尺拖动到垃圾桶标识)来删除虚拟标尺。
例如,用户可以通过点击固定显示的虚拟标尺来触发虚拟标尺的选择,在选中的同时,触摸屏会弹出触发控件,例如触发控件可以是用于指示针对于虚拟标尺的位置调整操作的提示,用户可以通过点击“姿态调整”控件,进而进入针对于虚拟标尺的姿态调整的模式,例如,在该模式下,用户可以通过手侧面和触摸屏的接触来进行虚拟标尺的显示姿态调整,调整方式可以参照上述实施例中关于虚拟标尺的显示位置调控的相关描述,这里不再赘述,又例如,若需要旋转虚拟标尺,可以通过双指分别在(虚拟标尺上或者在虚拟标尺的预设距离内)两个不同的位置点击,两个触摸点同时顺时针或逆时针旋转,以转动虚拟标尺。可选的,在操作虚拟标尺转动时,可以实时显示转动前后虚拟标尺之间的夹角。
本申请实施例中,通过旋转或移动手侧面来给虚拟标尺赋予相应的旋转或移动操作,敲击固定显示虚拟标尺等手势,符合用户的操作习惯,能大幅提升操作效率。
在一种可能的实现中,所述虚拟标尺用于进行在所述触摸屏上显示的绘画直线段的长度测量;或者,所述虚拟标尺用于进行在所述触摸屏上显示的绘画点之间的距离测量。
在一种可能的实现中,所述方法还包括:检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段,显示所述绘画直线段的长度值;所述存在姿态关联包括:与所述虚拟标尺的方向差异小于预设值;和/或,与所述虚拟标尺之间的距离值小于预设值。
其中,所谓存在姿态关联可以理解为虚拟标尺与绘画直线段的贴合程度很高,例如姿态关联可以通过方向差异和距离值来表示,当绘画直线段与虚拟标尺的方向差异小于预设值(例如小于20度、25度、30度、35度、40度、45度等);和/或,绘画直线段与所述虚拟标尺之间的距离值小于预设值(例如1cm、2cm、3cm等)时,可以认为所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段。
其中,距离可以理解为虚拟标尺上与绘画直线段最近的点之间的距离,或者是虚拟标尺上的点与绘画直线段之间的距离的平均值,或者可以用其他可以表征虚拟标尺与绘画直线段之间的距离的方法。
应理解,当检测模块检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的多个绘画直线段时,可以获取姿态关联的关联度最大的绘画直线段的长度值,并进行显示。
在一种可能的实现中,所述方法还包括:根据所述待测量线段的位置,调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置与所述绘画直线贴合。也就是实现了类似于磁吸的显示效果。其中,调整虚拟标尺的显示位置可以包括对虚拟标尺的位置调整以及显示方向调整。
在一种可能的实现中,所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:检测到所述触摸屏上的绘画线段与所述虚拟标尺存在第一交点和第二交点,显示所述第一交点和所述第二交点之间的距离值。
在一种可能的实现中,所述虚拟标尺用于作为在所述触摸屏上画直线时的参考工具。
在一种可能的实现中,所述方法还包括:检测到在所述触摸屏上的画线手势;基于所述触摸屏上显示有所述虚拟标尺,且所述画线手势的画线位置与所述虚拟标尺之间的距离在预设距离内(例如1cm、2cm、3cm、4cm、5cm等等),根据所述画线手势的画线位置,显示绘画直线段,其中,所述绘画直线段与所述虚拟标尺平行。
一方面,当在虚拟标尺一定范围内写画时(没有抬手动作),可以约束写画的范围不能越过虚拟标尺,即只能在虚拟标尺一侧写画,当写画范围越过虚拟标尺时,显示和虚拟标尺(可以进行写画的一侧)贴合的直线,进而相当于虚拟标尺起到了和物理空间中直尺类似的功能。
另一方面,可以响应在虚拟标尺预定义范围内的写画行为,将写画的绘画轨迹校正为直线,通过上述方式当用户沿着虚拟标尺划线,会自动画出直线。
在一种可能的实现中,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段。
在一种可能的实现中,所述画线位置包括起始点位置以及实时画线位置,所述方法还包括:基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
且为了得到预期长度的线条,在沿着尺子划线写画时,可以计算并显示首末两个画点之间的绘画直线,并显示绘画直线的长度。在一种可能的实现中,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段,且检测模块可以基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
也就是说,如果画的线段长度超过预期值,可以往回画,会起到删除效果,只要末端画点与起始画点的距离为预期值,生成的线段就是预期值,且画出的曲线(曲线与虚拟标尺的距离在预设范围内)会被自动校正为直线。
本申请实施例中,将直尺两个功能:测量和画直线,转换为适合虚拟界面的智能操作,测量是自动显示测量值,画直线时显示长度值,去除了物理世界的局限,节省了用户读数的时间,大幅提升用户效率。
第二方面,本申请提供了一种对象复制方法,所述方法包括:检测到针对于触摸屏上显示的目标对象的拖动手势;响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;检测到抬手手势;响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。
拖动手势进行复制粘贴的方式,简单直观,降低了现有复制粘贴所需要步骤数量,缩短了复制粘贴的过程。
在一种可能的实现中,所述检测到针对于触摸屏上显示的目标对象的拖动手势之前,所述方法还包括:
在检测到如下的至少一种手势时,使能针对于所述目标对象的复制功能:
检测到针对于所述目标对象的长按手势;或者,
检测到针对于所述目标对象的单击手势。
在一种可能的实现中,所述检测到针对于所述目标对象的长按手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象或者在所述目标对象周围预设距离内的长按手势。
在一种可能的实现中,所述拖动手势为保持所述长按手势与所述触摸屏的接触且在所述触摸屏上发生移动的手势。
在一种可能的实现中,所述长按手势为双指长按手势。
在一种可能的实现中,所述检测到针对于所述目标对象的单击手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象的单击手势。
第三方面,本申请实施例提供了一种虚拟标尺显示装置,应用于电子设备,所述电子设备包括触摸屏,所述装置包括:
检测模块,用于检测与所述触摸屏的接触手势;
显示模块,用于基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。
在一种可能的实现中,所述手侧面为用户的手部在展开状态下位于小拇指一侧的手侧面。
在一种可能的实现中,所述接触区域包括:
用户的手侧面的小鱼际部位与所述触摸屏的接触区域;或者,
用户的手侧面的小拇指部位与所述触摸屏的接触区域。
在一种可能的实现中,所述装置还包括:
确定模块,用于基于所述接触手势的接触区域满足预设条件,确定所述接触手势指示所述用户的手侧面与触摸屏的接触;所述预设条件包括:
所述接触区域为长条状区域,所述长条状区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点。
在一种可能的实现中,所述装置还包括:
获取模块,用于获取所述接触手势的手势数据;
所述确定模块,还用于根据所述手势数据,通过神经网络,确定所述接触手势指示所述用户的手侧面与触摸屏的接触。
在一种可能的实现中,所述虚拟标尺与所述长条状区域的长边贴合,包括:
所述虚拟标尺的方向与所述长条状区域的长边指示的方向之间的锐夹角小于预设值;且所述虚拟标尺与所述长条状区域满足如下条件的一个:
所述虚拟标尺与所述长条状区域存在重叠;或者,所述虚拟标尺与所述长条状区域相切;或者,所述虚拟标尺与所述长条状区域之间的距离小于预设值。
在一种可能的实现中,所述检测模块,用于在所述根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺之前,检测到所述接触手势的维持时间大于预设时间。
在一种可能的实现中,所述检测模块,用于检测到所述接触手势的接触区域的移动;
所述显示模块,用于调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置跟随所述接触区域。
在一种可能的实现中,所述检测模块,用于检测到用户的抬手手势;
所述显示模块,用于响应于所述抬手手势,在所述触摸屏上隐藏所述虚拟标尺的显示。
在一种可能的实现中,所述基于所述接触手势指示所述用户的手侧面与触摸屏的接触,包括:
基于所述接触手势指示所述用户的手侧面与触摸屏进行了预设次数的敲击;
所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:
检测到用户的抬手手势;
响应于所述抬手手势,在所述触摸屏上维持所述虚拟标尺的显示。
在一种可能的实现中,所述检测模块,用于检测到用户针对于所述虚拟标尺的选择指令;
所述显示模块,用于响应于所述选择指令,显示触发控件,所述触发控件用于指示对所述虚拟标尺进行如下的至少一种操作:
删除操作、位置调整操作以及旋转操作。
在一种可能的实现中,所述虚拟标尺用于进行在所述触摸屏上显示的绘画直线段的长度测量;或者,
所述虚拟标尺用于进行在所述触摸屏上显示的绘画点之间的距离测量。
在一种可能的实现中,所述检测模块,用于检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段;
所述显示模块,用于显示所述绘画直线段的长度值;所述存在姿态关联包括:
与所述虚拟标尺的方向差异小于预设值;和/或,
与所述虚拟标尺之间的距离值小于预设值。
在一种可能的实现中,所述显示模块,用于根据所述待测量线段的位置,调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置与所述绘画直线贴合。
在一种可能的实现中,所述检测模块,用于在所述触摸屏上显示虚拟标尺之后,检测到所述触摸屏上的绘画线段与所述虚拟标尺存在第一交点和第二交点;
所述显示模块,用于显示所述第一交点和所述第二交点之间的距离值。
在一种可能的实现中,所述虚拟标尺用于作为在所述触摸屏上画直线时的参考工具。
在一种可能的实现中,所述检测模块,用于检测到在所述触摸屏上的画线手势;
所述显示模块,用于基于所述触摸屏上显示有所述虚拟标尺,且所述画线手势的画线位置与所述虚拟标尺之间的距离在预设距离内,根据所述画线手势的画线位置,显示绘画直线段,其中,所述绘画直线段与所述虚拟标尺平行。
在一种可能的实现中,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段。
在一种可能的实现中,所述画线位置包括起始点位置以及实时画线位置,所述方法还包括:
基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
第四方面,本申请提供了一种对象复制装置,所述装置包括:
检测模块,用于检测到针对于触摸屏上显示的目标对象的拖动手势;所述检测模块,还用于在显示模块显示所述目标对象的镜像之后检测到抬手手势;
显示模块,用于响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;所述显示模块,还用于响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。
在一种可能的实现中,所述装置还包括:
使能模块,用于在所述检测到针对于触摸屏上显示的目标对象的拖动手势之前,在检测到如下的至少一种手势时,使能针对于所述目标对象的复制功能:
检测到针对于所述目标对象的长按手势;或者,
检测到针对于所述目标对象的单击手势。
在一种可能的实现中,所述检测到针对于所述目标对象的长按手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象或者在所述目标对象周围预设距离内的长按手势。
在一种可能的实现中,所述拖动手势为保持所述长按手势与所述触摸屏的接触且在所述触摸屏上发生移动的手势。
在一种可能的实现中,所述长按手势为双指长按手势。
在一种可能的实现中,所述检测到针对于所述目标对象的单击手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象的单击手势。
第五方面,本申请提供了一种电子设备,包括:处理器、存储器、触摸屏和总线,其中:所述处理器、所述存储器和所述触摸屏通过所述总线连接;
所述存储器,用于存放计算机程序或指令;
所述处理器,用于调用或执行所述存储器上所存放的程序或指令,还用于控制触摸屏,以实现上述第一方面及第一方面中任一项可能实现方式所述的步骤、以及第二方面及第二方面中任一项可能实现方式所述的步骤。
第六方面,本申请提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备或服务器上运行时,执行上述第一方面及第一方面中任一项可能实现方式所述的步骤、以及第二方面及第二方面中任一项可能实现方式所述的步骤。
第七方面,本申请提供了一种计算机程序产品,当计算机程序产品在电子设备或服务器上运行时,执行上述第一方面及第一方面中任一项可能实现方式所述的步骤、以及第二方面及第二方面中任一项可能实现方式所述的步骤。
第八方面,本申请提供了一种芯片系统,该芯片系统包括处理器,用于支持执行设备或训练设备实现上述方面中所涉及的功能,例如,发送或处理上述方法中所涉及的数据;或,信息。在一种可能的设计中,所述芯片系统还包括存储器,所述存储器,用于保存执行设备或训练设备必要的程序指令和数据。该芯片系统,可以由芯片构成,也可以包括芯片和其他分立器件。
本申请实施例提供了一种虚拟标尺显示方法,包括:检测与所述触摸屏的接触手势;基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。当检测到接触手势指示用户的手侧面与所述触摸屏的接触时,触发虚拟标尺的显示,一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。
附图说明
图1为本申请实施例提供的产品结构示意图;
图2为本申请实施例的电子设备的结构框图;
图3为本申请实施例提供的一种虚拟标尺显示方法的实施例示意图;
图4为本申请实施例中的一种手势示意;
图5为本申请实施例中的一种手势示意;
图6为本申请实施例中的一种手势示意;
图7为本申请实施例中的一种手势示意;
图8为本申请实施例中的一种手势示意;
图9为本申请实施例中的一种手势接触的示意;
图10为本申请实施例中的一种手势接触的示意;
图11为本申请实施例中的一种终端界面的示意;
图12为本申请实施例中的一种终端界面的示意;
图13为本申请实施例中的一种终端界面的示意;
图14为本申请实施例中的一种终端界面的示意;
图15为本申请实施例中的一种终端界面的示意;
图16为本申请实施例中的一种终端界面的示意;
图17为本申请实施例中的一种终端界面的示意;
图18为本申请实施例中的一种终端界面的示意;
图19为本申请实施例中的一种终端界面的示意;
图20为本申请实施例中的一种终端界面的示意;
图21为本申请实施例中的一种终端界面的示意;
图22a为本申请实施例中的一种终端界面的示意;
图22b为本申请实施例中的一种终端界面的示意;
图22c为本申请实施例中的一种终端界面的示意;
图22d为本申请实施例中的一种终端界面的示意;
图23为本申请实施例中的一种索引表建立的示意;
图24为本申请实施例中的一种终端界面的示意;
图25为本申请实施例中的一种终端界面的示意;
图26为本申请实施例中的一种终端界面的示意;
图27为本申请实施例中的一种终端界面的示意;
图28为本申请实施例中的一种终端界面的示意;
图29为本申请实施例中的一种终端界面的示意;
图30为本申请实施例中的一种终端界面的示意;
图31为本申请实施例中的一种终端界面的示意;
图32为本申请实施例中的一种终端界面的示意;
图33为本申请实施例中的一种终端界面的示意;
图34为本申请实施例中的一种终端界面的示意;
图35为本申请实施例中的一种终端界面的示意;
图36为本申请实施例中的一种终端界面的示意;
图37a为本申请实施例提供的一种对象复制方法的实施例示意图;
图37b为本申请实施例中的一种终端界面的示意;
图38为本申请实施例中的一种终端界面的示意;
图39为本申请实施例中的一种终端界面的示意;
图40为本申请实施例中的一种终端界面的示意;
图41为本申请实施例中的一种终端界面的示意;
图42为本申请实施例中的一种终端界面的示意;
图43为本申请实施例中的一种终端界面的示意;
图44为本申请实施例中的一种终端界面的示意;
图45为本申请实施例中的一种终端界面的示意;
图46为本申请实施例中的一种终端界面的示意;
图47为本申请实施例中的一种终端界面的示意;
图48为本申请实施例中的一种终端界面的示意;
图49为本申请实施例提供的一种虚拟标尺显示装置的结构示意;
图50为本申请实施例提供的一种对象复制装置的结构示意;
图51为本申请实施例提供的终端设备的一种结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。
下面结合附图,对本申请的实施例进行描述。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
首先介绍本申请的示例性操作环境
本申请实施例可以应用在包括触摸屏103的系统100中。
参照图1,图1示出了本申请实施例所应用的系统100,其中,系统100可以包括电子设备101和与电子设备101相关联的笔102。
电子设备101可以为图1示出的电子白板(或者称之为电子交互式智能板),电子设备101包括触摸屏103。应理解,电子设备101也可以为包括触控屏的便携式移动设备,例如但不限于移动或便携式计算设备(如智能手机)、个人计算机、服务器计算机、手持式设备(例如平板)或膝上型设备、多处理器系统、游戏控制台或控制器、基于微处理器的系统、机顶盒、可编程消费电子产品、移动电话、具有可穿戴或配件形状因子(例如,手表、眼镜、头戴式耳机或耳塞)的移动计算和/或通信设备、网络PC、小型计算机、大型计算机、包括上面的系统或设备中的任何一种的分布式计算环境等等。
触摸屏103能够识别用户的接触手势。
在一种实现中,触摸屏103可以为红外线触摸屏(infrared touch screen),红外线触摸屏由装在触摸屏外框上的红外线发射与接收感测元件构成,在屏幕表面上,形成红外线探测网,任何触摸物体可改变触点上的红外线而实现触摸屏操作。红外线式触控屏的实现原理与表面声波式触控相似,它使用的是红外线发射与接收感测元件。这些元件在屏幕表面形成红外线探测网,触控操作的物体(比如本申请实施例中手侧面与触摸屏103的接触)可以改变触点的红外线,进而被转化成触控的坐标位置,进而实现了对触摸手势的识别。
在一种实现中,触摸屏103可以为电容式触摸屏,电容式触摸屏是利用人体的电流感应进行工作的。示例性的,电容式触摸屏可以是一块四层复合玻璃屏,玻璃屏的内表面和夹层各涂有一层ITO(纳米铟锡金属氧化物),最外层是一薄层矽土玻璃保护层,夹层ITO涂层作为工作面,四个角上引出四个电极,内层ITO为屏蔽层可以保证良好的工作环境。当用户的手部触摸在金属层上时(例如本申请实施例中手侧面与触摸屏103的接触),由于人体电场,用户和触摸屏表面形成以一个耦合电容,对于高频电流来说,电容是直接导体,于是手指从接触点吸走一个很小的电流。这个电流分别从触摸屏的四角上的电极中流出,并且流经这四个电极的电流与手指到四角的距离成正比,控制器通过对这四个电流比例的精确计算,得出触摸点的位置,进而可以实现对触摸手势的识别。
应理解,触摸屏103还可以是其他类型的具有接触手势识别能力的触摸屏,或者是替换为只具有显示功能的但是可以和其他外接设备(例如传感器)配合以实现接触手势识别的触摸屏,这里并不限定。
在一个示例中,笔102也可以通过接触触摸屏103或以其他方式与触摸屏103交互以便向电子设备101提供输入。
触摸屏103可以进行图案、文字的显示,还可以提供一个写画界面,以供用户自由写画,比如电子白板提供的白板界面、应用(application,APP)提供的写画板等。
本申请实施例中,用户可以通过手侧面和触摸屏103接触,电子设备101在检测到用户的接触手势后,可以触发虚拟标尺的显示。
以上介绍了本申请的示例性操作环境,接下来结合一个示例对电子设备101的内部结构进行描述。
参见图2,图2是本申请实施例提供的电子设备101的结构示意图。
可以理解的是,图2示意的结构并不构成对电子设备101的具体限定。在本申请另一些实施例中,电子设备101可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
电子设备101可包括输入/输出控制器218,输入/输出控制器218可以向与电子设备101分开或集成在一起的一个或多个输出设备222(例如,触摸屏或扬声器)输出信息。输入/输出控制器218还可用于接收来自一个或多个输入设备220(例如,键盘、话筒或触摸屏)的输入。在一个实施例中,输出设备222也可充当输入设备220。此类设备的示例可以是触摸屏。在一些实施例中,用户可向输入设备220提供输入和/或从输出设备222接收输出。
本申请实施例中,输入设备220可以为触摸屏,用户通过手侧面与触摸屏接触来向输入/输出控制器218提供手势输入,输入/输出控制器218可以将手势输入传递至处理器,由处理器204进行处理。
电子设备101可以包括一个或多个处理器204,这些处理器可以包括一个或多个处理单元,例如:处理器204可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processing unit,GPU),图像信号处理器(image signalprocessor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
处理器204的控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器204中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器204中的存储器为高速缓冲存储器。该存储器可以保存处理器204刚用过或循环使用的指令或数据。如果处理器204需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器204的等待时间,因而提高了系统的效率。
在一些实施例中,处理器204可以包括一个或多个接口。例如,接口可以包括,但不限于移动产业处理器接口(mobile industry processor interface,MIPI)、外部存储器接口和/或通用串行总线(universal serial bus,USB)接口等。
MIPI接口可以被用于连接处理器204与触摸屏等外围器件。MIPI接口可以包括显示屏串行接口(display serial interface,DSI)等。处理器204和触摸屏通过DSI接口通信,实现触摸屏的显示功能。
可以理解的是,本实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备101的结构限定。在本申请另一些实施例中,电子设备101也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备101可以通过GPU,触摸屏,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接触摸屏和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器204可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。具体的,处理器204中的一个或多个GPU可以实现图像的渲染任务(例如本申请中与绘制虚拟标尺、距离值、长度值等相关的渲染任务,并将渲染结果传递至应用处理器或者其他显示驱动,由应用处理器或者其他显示驱动触发显示屏进行虚拟标尺、距离值、长度值等的显示)。
触摸屏可以包括显示屏以及相关的传感器(例如压力传感器和触摸传感器)。
显示屏用于显示图像,视频等。显示屏包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organiclight emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emittingdiodes,QLED)等。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。压力传感器的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器,电极之间的电容改变。电子设备101可以根据电容的变化确定压力的强度。当有触摸操作作用于触摸屏,电子设备101可以根据压力传感器检测所述触摸操作强度。电子设备101也可以根据压力传感器的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
触摸传感器,也称“触控器件”。触摸传感器可以设置于触摸屏,由触摸传感器与显示屏组成触摸屏。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备101的表面,与显示屏所处的位置不同。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备101的智能认知等应用,例如可以基于NPU实现触摸手势类别的识别任务。
外部存储器接口可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备101的存储能力。外部存储卡通过外部存储器接口与处理器204通信,实现数据存储功能。例如将可以将音乐,视频等文件保存在外部存储卡中。
存储器214可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。存储器214可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统206,至少一个功能所需的应用软件208(比如图像播放功能等)等。存储数据区可存储电子设备101使用过程中所创建的数据(比如图像数据等)等。此外,存储器214可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器204通过运行存储在存储器214的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备101的各种功能应用以及数据处理。
其中,本申请实施例中所描述的方法可以为存储在存储器214(或者是外部存储器)中的代码,处理器110可以获取到存储器中的代码来实现本申请实施例提供的方法。
电子设备101还可以通过通信设备216与其他电子设备进行交互。
应理解,替代地或附加地,本文中所描述的方法可以至少部分地由一个或多个硬件逻辑组件来执行。例如而非限制,可被使用的硬件逻辑组件的说明性类型包括现场可编程逻辑门阵列(field programmable gate array,FPGA)、专用集成电路(applicationspecific integrated circuit,ASIC)、专用标准部分(application specific standardparts,ASSP)、片上系统(system on chip,SOC)以及可编程逻辑器件(programable logicdevice,PLD)等。例如针对于接触手势的检测,以及手势类别判定等功能可以基于硬件逻辑组件来实现。
此外,附图中的各种元素的至少一部分功能性可由附图中的其他元素或附图中未示出的实体(例如,处理器、web服务、服务器、应用程序、计算设备等)来进行分布式执行,这里并不限定。
为了便于理解,结合附图和应用场景,对本申请实施例提供的虚拟标尺显示方法进行具体阐述。
参照图3,图3为本申请实施例提供的一种虚拟标尺显示方法的流程示意,如图3所示,本申请实施例提供的虚拟标尺显示方法,包括:
301、检测与所述触摸屏的接触手势。
在例如会议室或教学的产品使用场景下,有时候会有绘图、表格绘制、图案测量的需求,因此需要通过特定的手势操作(例如本申请实施例中的接触手势)在触摸屏上唤出虚拟标尺。
本申请实施例中,电子设备101可以检测与所述触摸屏的接触手势。
其中,触摸屏可以包括基于触觉接触来接收来自用户的输入的触敏表面、传感器或传感器组,“检测与所述触摸屏的接触手势”可以理解为检测到与所述触摸屏上触敏表面的接触手势。
首先描述检测与所述触摸屏的接触手势相关的器件和模块。
在一种可能的实现中,触摸屏可以和检测模块配合来检测触摸屏上的接触手势。其中,检测模块可以为存储器中存储的和接触手势检测相关的程序、数据结构或其子集,或者是一部分以程序、数据结构或其子集的形式存在于存储器,一部分为硬件逻辑模块的形式。触摸屏可以捕获接触数据,检测模块可以根据接触数据来执行与接触手势检测相关的各种动作。
在一种可能的实现中,触摸屏可以实时捕获用户与触敏表面的接触数据(例如可以为电信号),并将接触数据传递至检测模块,检测模块可以基于接触数据来执行与接触手势检测相关的各种动作。
接下来描述检测模块实现针对于触摸屏上的接触手势的检测。
在一种实现中,检测模块可以基于接触数据来确定用户与触摸屏发生接触时的强度大小和/或其变化、以及接触区域的大小和/或其变化,进而基于上述信息来确定接触手势的手势类型。
其中,“强度”可以理解为在触摸屏的触敏表面上的接触(例如,手侧面接触)的力或压力(每单位面积的力)。接触的强度可以使用多种方法和多种传感器或传感器的组合来确定。例如,在触敏表面下方,例如使用相邻于触敏表面的一个或多个传感器来测量触摸屏上触敏表面上的不同点处的力。在一些具体实施中,可以将来自多个传感器的力测量值进行组合(例如,加权平均)来确定接触的强度。此外,还可以将在触敏表面上检测到的接触区域的大小和/或其变化、接触附近的触敏表面的电容和/或其变化以及/或者接触附近的触敏表面的电阻和/或其变化,来间接表示触敏表面上的接触的力或压力。
其中,“接触区域”可以理解为可以检测到的和触敏表面相接触的区域,该区域可以为连续的区域或者是由密集的触摸点构成的离散区域(例如接触区域可以为一组密集分布的接触点构成的长条形区域)。
检测模块可以基于接触数据来执行与接触手势检测相关的各种动作,进而确定接触手势的手势类型、接触手势的移动情况、接触手势的停止情况等等。
例如,检测模块可以确定是否已发生接触以及接触手势的类型(例如,检测手指按下事件,或者手侧面的接触事件)、确定是否存在接触的移动并跟踪在触敏表面上的移动(例如,检测一个或多个手指拖动事件,或者是手侧面的拖动事件),以及确定接触是否已停止(例如,检测手指抬起事件,或者检测手侧面的抬起事件)。
其中,上述“接触手势的移动”也可以称之为接触手势的接触区域的移动,和接触区域的移动相关的数据可以但不限于包括接触区域移动的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)。
进而,检测模块可以基于接触数据来执行与接触手势检测相关的各种动作,以此确定接触手势指示的手势类型,其中,手势类型例如但不限于是点击、双击、长按、拖动、手侧面与触摸屏的静止接触、手侧面拖动、手侧面转动、手侧面双击等等。
在一种可能的实现中,检测模块可以为预训练好的神经网络模型,该神经网络模型具有基于接触手势的接触数据识别出接触手势指示的手势类别的能力。
302、基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。
本申请实施例中,检测模块可以确定出接触手势指示的手势类型。在一种实现中,检测模块可以确定出接触手势指示用户的手侧面与所述触摸屏的接触。
为了能够降低用户触发虚拟标尺显示功能的操作难度和成本,本申请实施例中,当检测到接触手势指示用户的手侧面与所述触摸屏的接触时,触发虚拟标尺的显示,一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。
接下来结合附图对用户的手侧面与所述触摸屏的接触进行描述。
1、手侧面
本申请实施例中的手侧面可以理解为用户的手部在展开状态下位于小拇指一侧的手侧面(例如包括用户手部的小鱼际部位的表面或者小拇指部位的表面中的至少一个)。
其中,手部的展开状态可以为用户的手指(或者是仅包括小拇指)处于和手掌心同一个平面(或者是接近于处于同一个平面)的状态。
参照图4,图4中示出了一种用户的手部姿势,在图4示出的手部姿势中,手部靠下的一侧为用户的手侧面,其包括小拇指部位和用户手部的小鱼际部位的表面。参照图5,图5中示出了另一种用户的手部姿势,在图5示出的手部姿势中,手部靠右下的一侧为用户的手侧面,其包括小拇指部位和用户手部的小鱼际部位的表面。
本申请实施例,用户手侧面与触摸屏的接触,相当于用户的手侧面的小鱼际部位与所述触摸屏的接触和/或用户的手侧面的小拇指部位与所述触摸屏的接触。
2、手侧面与所述触摸屏的接触
本申请实施例中,当与所述触摸屏的接触的接触强度以及接触面积满足一定条件时,可以认为是用户的手侧面与触摸屏的接触。
参照图6和图7,其中,图6为从正视触摸屏的角度来看,用户的手侧面与触摸屏接触时的示意,图7为从侧视触摸屏的角度来看,用户的手侧面与触摸屏接触时的示意,从用户的行为来看,基于触摸强度、接触面积的不同,用户的手侧面可以是轻扫触摸屏(接触面积小、接触强度很低),或者是轻压触摸屏(接触面积大、接触强度中等),或者是重压触摸屏(接触面积大、接触强度大)。本申请实施例中,当用户的手侧面轻扫触摸屏时,可以认为是用户与触摸屏存在误触,而当用户手侧面轻压触摸屏或者是重压触摸屏时,可以认为用户需要触发显示虚拟标尺。
在一种实现中,当用户手侧面轻压触摸屏或者是重压触摸屏超过一定时间时,才可以认为是用户需要触发显示虚拟标尺。具体可以参照图8,当用户手侧面轻压触摸屏或者是重压触摸屏超过X秒时,可以认为是用户需要触发显示虚拟标尺。
从检测模块的角度来看,需要基于接触手势的接触强度以及接触手势和触摸屏的接触区域进行处理分析,当其满足一定条件时,可以认为是用户的手侧面与触摸屏的接触。
接下来介绍接触区域需要满足的条件(包括形状条件和面积大小条件):
在一种实现中,检测模块可以获取所述接触手势的接触区域,并基于所述接触区域满足预设条件,确定所述接触手势指示所述用户的手侧面与触摸屏的接触;所述预设条件包括:所述接触区域为一个长条状区域,所述长条状区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点。
手部侧面可以包括小鱼际部位的区域和小拇指部位的区域,当用户的手侧面与触摸屏接触时,可能由于手部的姿势或者用户的手型特点,出现如下的至少一种接触情况:
小鱼际部位的区域与触摸屏接触;
小拇指部位的区域与触摸屏接触;
小鱼际部位的区域和小拇指部位的区域一起与触摸屏接触;
参照图10,当小鱼际部位的区域与触摸屏接触时,接触区域为一个扁平的长条状区域;
当小拇指部位的区域与触摸屏接触时,接触区域为一个扁平的长条状区域,面积大小可以小于小鱼际部位的区域与触摸屏接触时的接触区域大小;
参照图9,当小鱼际部位的区域和小拇指部位的区域一起与触摸屏接触时,接触区域为排布在同一方向上的两个长条状区域,所述两个长条状区域的长边所在的方向一致。
检测模块可以获取到接触区域的数据,然后对接触区域的形状和面积大小进行分析,当接触区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点时,可以确定接触手势指示所述用户的手侧面与触摸屏的接触。
其中,形状可以理解为接触区域边界线的轮廓特征,当接触区域边界线的轮廓形状为扁平的长条状,则可以认为接触区域的形状符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的形状特点;
其中,形状也可以理解为接触区域包括的接触点的分布特征,可以通过检测触摸点的分布形状来判断是否是满足上述形状特点。(比如检测到一组密集分布的长条形的触摸点,则可以认为接触区域的形状符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的形状特点);
其中,当接触区域的面积大小在预设的范围内(该范围中的极大值不能过大,该范围中的极小值也不能过小,可以基于人的手部手侧面的特点来设定),则可以认为接触区域的面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的面积大小特点。
接下来介绍接触强度需要满足的条件:
在一些场景中,用户会出现误触或者进行了和触摸屏的触摸手势,但是该接触手势并非用于触发虚拟标尺,可以基于接触手势的接触强度的筛选来避免在上述场景中,触发虚拟标尺的显示。
具体的,用户与触摸屏进行了轻扫触摸(接触强度很小的触摸)时,通常可以认为是用户出现了误触,当确定触摸手势的接触强度过小时,可以不触发虚拟标尺的显示,而当接触手势为按压手势时,可以触发虚拟标尺的显示(前提是接触手势的接触区域满足上述形状和面积大小条件)。
其中,按压手势可以包括轻按压和深按压,当接触强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度时可以称为检测到触摸表面上的“轻按压”输入。接触强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度可以称为检测到触摸表面上的“深按压”输入。接触强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度可以称为检测到触摸表面上的“轻扫触摸”输入。接触强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度时可以称为检测到接触从触摸表面抬离(也就是抬手手势)。在一些实施方案中,接触检测强度阈值为零。在一些实施方案中,接触检测强度阈值可以大于零。
在一种可能的实现中,检测模块可以为预训练好的神经网络模型,该神经网络模型具有基于接触手势的接触数据识别出接触手势指示的手势类别的能力,本申请实施例中,检测模块可以获取所述接触手势的手势数据,根据所述手势数据,通过神经网络,确定所述接触手势指示所述用户的手侧面与触摸屏的接触。
在一种可能的实现中,除了当用户轻扫触摸屏时会认为是误触,接触手势的维持时间过小时也可以认为是误触,在这种情况下也可以不触发虚拟标尺的显示。
本申请实施例中,还可以以接触手势的维持时间作为触发显示虚拟标尺的条件,也就是需要检测到所述接触手势的维持时间大于预设时间,例如预设时间可以设置为0.1S、0.15S、0.2S、0.25S、0.3S、0.35S、0.4S、0.45S、1S、2S。
其中,接触手势的维持时间可以是以检测到接触手势就开始计时,或者是检测到接触手势与触摸屏的接触强度大于一定接触强度阈值(大于0的阈值)之后才开始计时,维持时间可以是以检测到接触手势的接触强度为0时结束计时,或者是检测到接触手势的接触强度小于一定接触强度阈值(大于0的阈值)时结束计时。
其中,接触手势的维持时间可以是接触手势保持静止状态(或者移动小于一定幅度)时的维持时间,例如接触手势的维持时间可以是处于静止的按压手势(或者移动小于一定幅度)时的维持时间。应理解,上述静止状态可以理解为接触手势的接触区域的静止状态。
本申请实施例中,如果确定所述接触手势指示用户的手侧面与所述触摸屏的接触,则可以根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺。
接下来描述虚拟标尺:
虚拟标尺为显示在触摸屏上的示能表示,虚拟标尺的显示形状类似于直尺(例如可以为扁平的矩形、或者是一条线段),其上可以包括长度标注参考,用户可以基于虚拟标尺进行在所述触摸屏上显示的绘画直线段的长度测量,或者进行在所述触摸屏上显示的绘画点之间的距离测量,用户还可以将虚拟标尺作为在所述触摸屏上画直线时的参考工具,具体过程类似于在物理真实空间中,用户通过直尺画线的过程。
接下来描述虚拟标尺的显示位置和接触手势的接触区域之间的关系:
为了能够使得用户可以基于自己的意图来调整虚拟标尺的显示位置,则需要将用户的接触手势和虚拟标尺的显示位置建立关联,也就是虚拟标尺的显示位置需要基于用户与触摸屏的接触手势的接触区域作为参考。
在一种实现中,由于接触手势为展开后手部的手侧面与触摸屏的接触,其接触区域的形状为扁平的长条形,长条形的长边所指示的方向与用户手部的四指(或者仅包括小拇指)所指的方向平行(或者接近平行)。参照图11,可以让虚拟标尺的显示方向与长条形的长边所指示的方向平行或者接近平行,这种虚拟标尺的显示方式符合用户的操作习惯。
其中,虚拟标尺的显示方向(本申请实施例中也可以简称为虚拟标尺的方向)可以理解为虚拟标尺上用于测量或者画线参考的边所处的方向。
本申请实施例中,虚拟标尺与所述长条状区域的长边贴合,也就是说,在显示位置上,虚拟标尺与所述长条状区域需要很接近,在方向上,虚拟标尺与所述长条状区域的长边平行或者接近于平行。
具体的,在显示位置上,所述虚拟标尺与所述长条状区域满足如下条件的一个:
所述虚拟标尺与所述长条状区域存在重叠(例如图13所示);或者,所述虚拟标尺与所述长条状区域相切(例如图12所示);或者,所述虚拟标尺与所述长条状区域之间的距离小于预设值(例如图14和图15所示,其中,图15示出了当虚拟标尺为一条线段时的情况),预设值可以为1cm、2cm、3cm、4cm、5cm、10cm、15cm等。
具体的,在显示方向上,所述虚拟标尺的方向与所述长条状区域的长边指示的方向之间的锐夹角小于预设值,预设值可以为1度、2度、3度、4度、5度、10度等。
接下来描述虚拟标尺的显示规则(包括显示位置调控、隐藏触发、固定显示、固定显示之后的姿态调整等),分别进行说明:
1、关于虚拟标尺的显示位置调控:
本申请实施例中,在触发显示虚拟标尺后,可以通过特定的手势来调整虚拟标尺的姿态,比如,改变虚拟标尺的姿态(位置和角度),使虚拟标尺能够测量不同的元素(绘画线长度或者绘画点之间的距离)。本实施例中,结合用户的接触手势,可以通过用户的手侧面的接触区域的移动来带动虚拟标尺的移动。
具体的,检测模块可以检测到所述接触手势的接触区域的移动,并调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置跟随所述接触区域。
其中,所谓移动可以理解为,发生了位置的变化和/或方向的变化;
其中,所谓跟随,可以理解为将虚拟标尺的显示位置始终与接触手势的接触区域贴合,由于接触手势的接触区域发生了移动,进而虚拟标尺的显示位置和方向也会发生改变,且在虚拟标尺的显示区域始终保持和接触区域的长边的贴合。
参照图16和图17,接触手势的接触区域发生了移动,进而虚拟标尺的显示位置和方向也会跟随接触区域而发生改变。
2、关于虚拟标尺的取消显示:
在一些场景中,当用户没有使用虚拟标尺的需求时,可以通过一定的手势来触发触摸屏隐藏虚拟标尺的显示,手势可以为抬手手势,本申请实施例中,参照图18,检测模块可以检测到用户的抬手手势,响应于用户的抬手手势在所述触摸屏上隐藏所述虚拟标尺的显示,其中,抬手手势可以理解为手侧面脱离触摸屏,或者是手侧面与触摸屏的接触强度小于一定的阈值,或者是手侧面与触摸屏的接触区域小于预设值。
3、关于虚拟标尺的固定显示
在一些场景中,当用户抬手后仍然需要使用虚拟标尺,因此需要基于一定的手势来触发虚拟标尺在触摸屏上的固定显示。
在一种可能的实现中,用户可以通过手侧面对触摸屏进行预设次数的敲击,来触发虚拟标尺在触摸屏上的固定显示,参照图30所示,检测模块可以基于所述接触手势指示所述用户的手侧面与触摸屏进行了预设次数的敲击,在检测到用户的抬手手势之后,在所述触摸屏上维持所述虚拟标尺的显示(例如可以参照图31所示)。
可选的,预设次数的敲击需要在预设时间内发生,预设时间为较短的时间(例如为0.1S、0.2S、0.3S、0.4S、0.5S等);
其中,预设次数的敲击在触摸屏上的敲击位置需要保持一致,或者是允许微小的偏差。
其中,预设次数可以为2次、3次等,例如,在手侧面连续敲击两次时,虚拟标尺可以固定显示在触摸屏上。
4、关于虚拟标尺固定显示之后的姿态调整
在一种实现中,当虚拟标尺固定显示在触摸屏上时,可以通过一定的手势操作来调整虚拟标尺的显示姿态(显示姿态可以包括显示位置和/或显示方向)。检测模块可以检测到用户针对于所述虚拟标尺的选择指令,响应于所述选择指令,可以显示触发控件,所述触发控件用于指示对所述虚拟标尺进行如下的至少一种操作:删除操作、位置调整操作以及旋转操作。
例如,参照图32,用户可以通过点击固定显示的虚拟标尺来触发虚拟标尺的选择,在选中的同时,触摸屏会弹出触发控件,例如触发控件可以是用于指示针对于虚拟标尺的删除操作的提示(例如图33中示出的“删除”提示,以及图35示出的垃圾桶标识),用户可以通过点击“删除”提示或者将虚拟标尺拖动到垃圾桶标识)来删除虚拟标尺。
例如,用户可以通过点击固定显示的虚拟标尺来触发虚拟标尺的选择,在选中的同时,触摸屏会弹出触发控件,例如触发控件可以是用于指示针对于虚拟标尺的位置调整操作的提示(例如图33中示出的“姿态调整”提示),用户可以通过点击“姿态调整”控件,进而进入针对于虚拟标尺的姿态调整的模式,例如,在该模式下,用户可以通过手侧面和触摸屏的接触来进行虚拟标尺的显示姿态调整,调整方式可以参照上述实施例中关于虚拟标尺的显示位置调控的相关描述,这里不再赘述,又例如,参照图34,若需要旋转虚拟标尺,可以通过双指分别在(虚拟标尺上或者在虚拟标尺的预设距离内)两个不同的位置点击,两个触摸点同时顺时针或逆时针旋转,以转动虚拟标尺。可选的,在操作虚拟标尺转动时,可以实时显示转动前后虚拟标尺之间的夹角。
应理解,当用户选择虚拟标尺后,可以直接通过手势操作来调整虚拟标尺的显示姿态。
在一种实现中,参照图36,在没有选中虚拟标尺的情况下,若又检测到用户的手侧面与触摸屏的接触手势(满足触发显示虚拟标尺的条件),可以再额外显示另一个虚拟标尺,新的虚拟标尺也可以跟随手侧面的接收区域的平移而移动。此外,新的虚拟标尺也可以用连续敲击手势进行固定显示。
在一种实现中,如果触摸屏退出写画界面,而进入到显示界面(例如显示的是其他电子设备的投屏内容),那么显示在写画界面上的虚拟标尺也会跟随写画界面的退出而消失,不会影响投屏内容的显示。
本申请实施例中,通过旋转或移动手侧面来给虚拟标尺赋予相应的旋转或移动操作,敲击固定显示虚拟标尺等手势,符合用户的操作习惯,能大幅提升操作效率。
接下来结合用户和虚拟标尺之间的交互描述虚拟标尺的功能实现(包括长度测量功能、距离测量功能、画线功能):
1、长度测量功能
本申请实施例中,所述虚拟标尺可以用于进行在所述触摸屏上显示的绘画直线段的长度测量。
在一种可能的实现中,参照图19,触摸屏上可以显示有至少一个绘画直线段,当用户想对其中的一个绘画直线段进行长度测量时,可以通过接触手势在触摸屏上的移动来调整虚拟标尺的显示位置,使得虚拟标尺的显示位置接近于或者准确贴合要测量的绘画直线段。
在一种实现中,参照图20,当虚拟标尺的显示位置准确贴合要测量的绘画直线段时,检测模块可以获取到虚拟标尺所贴合的绘画直线段的长度值,并显示长度值。
然而,当用户可能无法准确贴合要测量的绘画直线段,或者贴合要测量的绘画直线段所需的操作难度较高,可以在虚拟标尺位于待测量的绘画直线段附近时,就进行绘画直线段的长度测量和长度值显示。
具体的,检测模块在检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段,显示所述绘画直线段的长度值,所谓存在姿态关联可以理解为虚拟标尺与绘画直线段的贴合程度很高,例如姿态关联可以通过方向差异和距离值来表示,当绘画直线段与虚拟标尺的方向差异小于预设值(例如小于20度、25度、30度、35度、40度、45度等);和/或,绘画直线段与所述虚拟标尺之间的距离值小于预设值(例如1cm、2cm、3cm等)时,可以认为所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段。
其中,距离可以理解为虚拟标尺上与绘画直线段最近的点之间的距离,或者是虚拟标尺上的点与绘画直线段之间的距离的平均值,或者可以用其他可以表征虚拟标尺与绘画直线段之间的距离的方法。
应理解,当检测模块检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的多个绘画直线段时,可以获取姿态关联的关联度最大的绘画直线段的长度值,并进行显示。
例如,存在姿态关联的多个绘画直线段(绘画直线段A、绘画直线段B),虚拟标尺与绘画直线段A之间的距离值为A1,虚拟标尺与绘画直线段B之间的距离值为B1,虚拟标尺与绘画直线段A之间的方向差异为A2,虚拟标尺与绘画直线段B之间的方向差异为B2,当A1等于A2,B1大于B2时,绘画直线段B与虚拟标尺的姿态关联的关联度最大,当A1大于A2,B1等于B2时,绘画直线段B与虚拟标尺的姿态关联的关联度最大。此外,还可以通过对距离值和方向差异进行运算,得到一个可以表征距离值和方向差异的特征量,该特征量与距离值和方向差异成正相关,特征量越大,则姿态关联的关联度越小。
此外,当检测模块检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段,且虚拟标尺的显示位置未准确地贴合该绘画直线段时,可以基于绘画直线段的位置调整虚拟标尺的显示位置,以便所述虚拟标尺的显示位置与所述绘画直线贴合,也就是实现了类似于磁吸的显示效果。
其中,调整虚拟标尺的显示位置可以包括对虚拟标尺的位置调整以及显示方向调整。
具体的,在通过虚拟标尺进行测量时,虚拟标尺的预定义范围内的绘画直线段对虚拟标尺具有磁吸效果,在磁吸效果的影响下,虚拟标尺会自动改变姿态,自动和绘画直线段贴合。
示例性的,参照图21,图21中触摸屏显示有两个绘画直线段,参照图22a,用户的手侧面与触摸屏的接触区域移动至靠左的绘画直线段(以下称之为绘画直线段1),虚拟标尺会跟随用户的手势而移动,参照图22b,当虚拟标尺移动至靠左的绘画直线段附近,虚拟标尺会自动调整显示位置至与绘画直线段1贴合的位置,参照图22c,当用户的手侧面与触摸屏的接触区域继续向右,虚拟标尺会取消磁吸效果,也就是不贴合绘画直线段1,而继续跟随用户的手势移动,参照图22d,用户的手侧面与触摸屏的接触区域向右下移动,当虚拟标尺移动至靠右下的绘画直线段(绘画直线段2)附近,虚拟标尺会自动调整显示位置至与绘画直线段2贴合的位置。
本申请实施例中,如果绘画线在虚拟标尺附近,绘画线会对虚拟标尺有磁吸作用,并自动进行绘画线长度的测量,避免了手动将虚拟标尺和绘画线贴合的过程,减小了测量的难度,同时避免了在通过手动进行贴合时可能不能准确贴合的问题,提升了测量的精度。
以上介绍了虚拟标尺的长度测量功能,接下来介绍虚拟标尺的距离测量功能:
2、距离测量功能
本申请实施例中,所述虚拟标尺可以用于进行在所述触摸屏上显示的绘画点之间的距离测量。
在一种可能的实现中,参照图23,触摸屏上可以显示有至少一个绘画线段,当用户想测量绘画线段上两个点之间的距离时,可以通过接触手势在触摸屏上的移动来调整虚拟标尺的显示位置,使得虚拟标尺与测量绘画线段上的两个点(或者多个点)交汇,进而,参照图24检测模块可以获取到两个交汇点(或者是多个交汇点中至少两个交汇点)之间的距离值,并进行距离值的显示。具体的,检测模块可以检测到所述触摸屏上的绘画线段与所述虚拟标尺存在第一交点和第二交点,并显示所述第一交点和所述第二交点之间的距离值。
以上介绍了虚拟标尺的距离测量功能,接下来介绍虚拟标尺的画线功能:
3、画线功能
本申请实施例中,所述虚拟标尺用于作为在所述触摸屏上画直线时的参考工具。
类似于在物理空间中利用直尺画线的过程,虚拟标尺可以作为用户在触摸屏上画直线时的参考工具(参照图25),其中,所谓参考工具,可以理解为当绘画轨迹贴合直尺时,由于标尺的阻碍,使得绘画轨迹被限制为直线。
与物理空间中的直尺不同的是,物理空间的直尺可以基于自身的结构特征来实现在画直线时可以被作为参考工具(在放置到绘画平面上时,用户使用画笔绘画时当绘画轨迹与直尺存在交汇时绘画轨迹会被直尺限制为直线,进而可以画出直线),而虚拟标尺仅仅是显示在触摸屏上的示能表示,因此需要识别出用户的画线轨迹(或者称之为画线位置)与虚拟标尺之间的位置关系,并基于画线位置与虚拟标尺之间的位置关系来限制画线轨迹。
接下来描述如何基于画线位置与虚拟标尺之间的位置关系来限制画线轨迹,进而实现基于虚拟标尺实现画直线的功能:
一方面,当在虚拟标尺一定范围内写画时(没有抬手动作),可以约束写画的范围不能越过虚拟标尺,即只能在虚拟标尺一侧写画,当写画范围越过虚拟标尺时,显示和虚拟标尺(可以进行写画的一侧)贴合的直线,进而相当于虚拟标尺起到了和物理空间中直尺类似的功能(参照图27所示,图27中的左图为用户的实际画线轨迹,右图为矫正后显示的绘画直线)。
另一方面,可以响应在虚拟标尺预定义范围内的写画行为,将写画的绘画轨迹校正为直线(参照图26所示,图26中的左图为用户的实际画线轨迹,右图为矫正后显示的绘画直线),通过上述方式当用户沿着虚拟标尺划线,会自动画出直线。
具体的,检测模块可以检测到在所述触摸屏上的画线手势,基于所述触摸屏上显示有所述虚拟标尺,且所述画线手势的画线位置与所述虚拟标尺之间的距离在预设距离内(例如1cm、2cm、3cm、4cm、5cm等等),根据所述画线手势的画线位置,显示绘画直线段,其中,所述绘画直线段与所述虚拟标尺平行。
且为了得到预期长度的线条,在沿着尺子划线写画时,可以计算并显示首末两个画点之间的绘画直线,并显示绘画直线的长度。在一种可能的实现中,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段(参照图28所示,图28中的左图为用户的实际画线轨迹,右图为矫正后显示的绘画直线),且检测模块可以基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
也就是说,如果画的线段长度超过预期值,可以往回画,会起到删除效果,只要末端画点与起始画点的距离为预期值,生成的线段就是预期值,且画出的曲线(曲线与虚拟标尺的距离在预设范围内)会被自动校正为直线。
如图29所示,假设用户在画图时,需要画一条长度是15cm的线段(即线段长度预期值为15cm),从起始点位置起画。然而,用户在屏幕上画线段时,不能像在白纸上沿着直尺划线一样精确的画出15cm的线段,很有可能画出的线段长度超过15cm,比如画笔轨迹校正后(在后台实现,用户看到的就是直线)得到的线段A1长度为25(如图29中的左图所示)。
此时,一般的方案是擦除一部分或者重新画,但是擦除或重新画也很难得到精确长度的线段。在本示例中,如图29中的右图所示,将手写笔往反方向移动,则终止点位置往回移动(起始点位置就是手写笔的画图起点,终止点位置就是手写笔画图时的最后位置,在画图过程中,终止点位置可以视为动态移动的,直到完成画图,手写笔脱离的位置就是最终的终止点位置)。
在图29中的右图中,手写笔反方向移动时,由于虚拟标尺会将手写笔画出的直线/曲线校正为直线,因此,在线段A2部分,相当于会画两次,第一次(正向画)画出轨迹线,第二次(反向画)与第一次画的重复时,将重复的线段A2删除,即擦除了部分第一次的直线,最终只保留起始点位置和终止点位置之间的线段A3。在标注线段内的长度时,只标注起始点位置和终止点位置之间的线段A3长度。删除线段后,手写笔重新画过时,又可以重新画出,因此,可以通过(反复)调整终止点位置的位置,来得到预期长度15cm的线段。
应理解,为了避免画几何图形时,两个线段的交点被删除(比如,正方形的对角线交点,画两条不同的对角线时,交点也会先后画两次)。重复画线的删除效果可以增加时间判定机制,只有在预定时间内,同一线段被画两次,才有删除的效果。或者通过其他判定机制实现,比如前后两次的手写笔移动方向相反才满足删除判定等方向机制。
本申请实施例中,将直尺两个功能:测量和画直线,转换为适合虚拟界面的智能操作,测量是自动显示测量值,画直线时显示长度值,去除了物理世界的局限,节省了用户读数的时间,大幅提升用户效率。
本申请实施例提供了一种虚拟标尺显示方法,包括:检测与所述触摸屏的接触手势;基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。当检测到接触手势指示用户的手侧面与所述触摸屏的接触时,触发虚拟标尺的显示,一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。
参照图37a,图37a为本申请实施例提供的一种对象复制方法的流程示意,如图37a所示,本申请实施例提供的一种对象复制方法包括:
3701、检测到针对于触摸屏上显示的目标对象的拖动手势。
在主流终端设备(如智能手机、平板电脑)上有和复制操作相关的手势,例如已有的操作逻辑包括三指捏合完成复制,三指松开进行粘贴。同时,对复制粘贴,业界有一套基本逻辑:选中内容、右键或特殊按钮进入语义菜单、点击复制按钮、移动到目标位置后调出语义菜单、点击粘贴按钮。可见主流方式复制粘贴前都必须特别选中元素作为前提,操作步骤很多,复制粘贴操作的操作代价很高。
本申请实施例中,在进行复制粘贴操作时,可以将复制对象拖拽至需要进行粘贴的位置,抬手的位置即为粘贴的位置。
接下来描述如何进行复制对象的选择:
1、通过长按手势:
本申请实施例中,在检测到针对于所述目标对象的长按手势时,可以使能针对于所述目标对象的复制功能。其中,长按手势可以为双指长按手势,例如可以参照图37b。
其中,目标对象为触摸屏上显示的绘画对象,例如可以为一个字符、图案、笔画等等。
其中,长按手势可以包括轻按压和深按压,当接触强度从低于轻按压强度阈值的强度增大到介于轻按压强度阈值与深按压强度阈值之间的强度时可以称为检测到触摸表面上的“轻按压”输入。接触强度从低于深按压强度阈值的强度增大到高于深按压强度阈值的强度可以称为检测到触摸表面上的“深按压”输入。接触强度从低于接触检测强度阈值的强度增大到介于接触检测强度阈值与轻按压强度阈值之间的强度可以称为检测到触摸表面上的“轻扫触摸”输入。接触强度从高于接触检测强度阈值的强度减小到低于接触检测强度阈值的强度时可以称为检测到接触从触摸表面抬离(也就是抬手手势)。在一些实施方案中,接触检测强度阈值为零。在一些实施方案中,接触检测强度阈值可以大于零。
在一种可能的实现中,除了当用户轻扫触摸屏时会认为是误触,长按手势的维持时间过小时也可以认为是误触,在这种情况下也可以不触发虚拟标尺的显示。
本申请实施例中,还可以以长按手势的维持时间作为触发使能针对于所述目标对象的复制功能的条件,也就是需要检测到长按手势的维持时间大于预设时间,例如预设时间可以设置为0.1S、0.15S、0.2S、0.25S、0.3S、0.35S、0.4S、0.45S、1S、2S。
其中,长按手势的维持时间可以是以检测到长按手势就开始计时,或者是检测到长按手势与触摸屏的接触强度大于一定接触强度阈值(大于0的阈值)之后才开始计时,维持时间可以是以检测到长按手势的接触强度为0时结束计时,或者是检测到长按手势的接触强度小于一定接触强度阈值(大于0的阈值)时结束计时。
其中,长按手势的维持时间可以是长按手势保持静止状态(或者移动小于一定幅度)时的维持时间,例如长按手势的维持时间可以是处于静止的按压手势(或者移动小于一定幅度)时的维持时间。应理解,上述静止可以理解为长按手势的接触区域不移动或者移动幅度很小。
其中,所谓使能针对于目标对象的复制功能可以理解为激活复制状态,在复制状态未被激活的状态下,写画界面上的显示元素不能被复制,在使用其他手势操作时,都是对显示元素本身的操作;只有使能针对于显示元素的复制功能后,显示元素的复制状态才被激活,才能够响应接下来的和复制粘贴相关的操作。
其中,所谓针对于所述目标对象的长按手势,可以理解为长按手势的接触区域覆盖有目标对象。
在一种可能的实现中,检测模块在检测到长按手势时,如果长按手势的接触区域内没有显示元素,则不会触发复制指令(也就是不会使能针对于显示元素的复制功能)。如果有显示元素(例如目标对象),则可以选中显示元素,并将该范围内的显示元素置于复制激活状态(也就是使能针对于目标对象的复制功能)。
以长按手势为双指长按手势为例,当如果触摸手势为双指长按手势,且接触区域内存在显示元素,则选中该显示元素,并使该元素置于复制激活态(也就是使能针对于所述目标对象的复制功能)。
在一种实现中,所谓针对于所述目标对象的长按手势,还可以理解为长按手势的接触区域在所述目标对象周围预设距离内。
本申请实施例中,对于长按手势的接触区域可以关联于一个固定的预定义范围,也可以在预定义范围的基础上进行延伸,比如,在预定义范围的边界的预设距离内又发现图案,则可以将范围延伸到新发现的图案上,同时新发现的图案也可以适用该延伸,例如,参照图43,双指长按“牛”字时,根据预定义的范围确定一个圆形区域,并选择圆形区域内的图案,即选中“牛”字,例如,参照图44,还可以再执行边界附近判定,在圆形边界的预设距离(比如5mm)内,查找是否有图案,然后选中“年”字的至少一个笔画,然后选中整个“年”字,再依次选中“大”字和“吉”字。这样,可以一次选中“牛年大吉”四个字。在进行范围延伸时,延伸的形状可以是和预定义的形状相适应,比如,执行圆的平移,最终得到椭圆形。也可以是和边界判断的预设距离相适应,比如实际的形状和字的边界相适应的不规则图案。
应理解,当选中不需要复制的图案时,这种延伸是可以打断的。比如,参照图45,可以使用额外的手指滑动将选中的区域分成两部分,则相对原理双指的那部分区域取消选中。如下图,分割后,“吉”字未被选中,则双指移动时,就只复制“牛年大”。
2、通过单击手势:
本申请实施例中,可以在检测到针对于所述目标对象的单击手势,使能针对于所述目标对象的复制功能。
在一种可能的实现中,参考图40,检测到针对于所述目标对象的单击手势可以理解为检测到与所述触摸屏的接触区域覆盖所述目标对象的单击手势。
单击选中复制和长按选中复制的区别在于,单击选中是选中一个对象,双指选中则选中的是预定义范围内的显示元素,这对于写画板上的复制是至关重要的,在写画板上写画时,由于文字由笔画组成,写画时,笔画是独立的,因此,一个笔画即为一个图案,由若干个图案(笔画)组成一个字,因此,单击选中时,只能选中一个笔画(不考虑连笔的情况),则复制只能复制选中的笔画(比如上图中的横笔),不能完整的复制整个字。而双指选中时,选中的是双指区域内的图案,可以选择整个字,因而可以完整的复制整个字。
此外,参照图46和图47,还可以基于触摸屏上显示的框选控件(可以是实体的,也可以是虚拟的)来进行目标对象的复制选择,选中该按钮后,可以进行图标的框选,选中图标后,再进行目标对象的选择,进而使能针对于所述目标对象的复制功能。
以上介绍了如何使能针对于目标对象的复制功能,接下来描述如何对目标对象进行复制操作:
本申请实施例中,用户在触摸屏上进行针对于目标对象的拖动手势,拖动手势的终点(也就是抬手手势的位置)可以为需要进行针对于目标对象的粘贴操作的位置。其中,拖动手势可以为双指拖动手势。
在一种可能的实现中,用户通过长按手势触发针对于目标对象的复制功能,则所述拖动手势可以为保持所述长按手势与所述触摸屏的接触且在所述触摸屏上发生移动的手势。
在一种可能的实现中,参照图41,用户通过点击手势触发针对于目标对象的复制功能,则可以再用拖动手势进行复制操作,也就是选择操作和复制操作是分离的,这时候,拖动手势的触摸区域的起点可以不在(也可以在)目标对象的显示位置附近,而是可以在触摸屏的任意显示位置进行拖动,均可以使复制的目标对象进行复制操作,并拖动目标对象沿着双指滑动的方向进行滑动。
3702、响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;
参照图38,本申请实施例中,检测模块在检测到针对于目标对象的拖动手势之后,目标对象具有被拖动走的趋势,在检测到拖动手势的指令后,进行目标对象的复制操作,复制该目标对象,产生一个复制体(或者称之为镜像),并使镜像跟随拖动手势的移动而移动,目标对象的本体仍然在原来的位置不滑动。
在一种可能的实现中,为了指示复制体,目标对象的镜像可以呈现为半虚化状态。
3703、检测到抬手手势。
关于抬手手势的具体描述可以参照上述实施例中相关的描述,这里不再赘述。
3704、响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。
参照图39和图42,本申请实施例中,当拖动手势滑动至预期位置后,进行抬手手势,也就是手部和显示屏脱离接触或者是接触强度小于阈值时,触发粘贴操作,也就是将目标对象粘贴在抬手手势的位置,进而完成复制粘贴过程。
此外,上述复制操作的手势规则不仅适用于写画界面上的写画元素,还适用于显示界面上文本的复制,参照图48,选中文本后,针对选中的文本进行长按(例如图48中示出的双指长按),拖动即可复制一个复制体,释放后,复制体显示在手指脱离位置。
本申请实施例提供了一种对象复制方法,所述方法包括:检测到针对于触摸屏上显示的目标对象的拖动手势;响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;检测到抬手手势;响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。拖动手势进行复制粘贴的方式,简单直观,降低了现有复制粘贴所需要步骤数量,缩短了复制粘贴的过程。
此外,基于长按手势来激发复制激活态,从而可以进行复制的方式,手势简单,为常用手势,操作简便且符合用户认知。
参照图49,图49为本申请实施例提供的一种虚拟标尺显示装置的结构示意,应用于电子设备,所述电子设备包括触摸屏,所述装置4900包括:
检测模块4901,用于检测与所述触摸屏的接触手势;
关于检测模块4901的具体描述可以参照步骤301的描述,这里不再赘述。
显示模块4902,用于基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。
关于显示模块4902的具体描述可以参照步骤302的描述,这里不再赘述。
在一种可能的实现中,所述手侧面为用户的手部在展开状态下位于小拇指一侧的手侧面。
在一种可能的实现中,所述接触区域包括:
用户的手侧面的小鱼际部位与所述触摸屏的接触区域;或者,
用户的手侧面的小拇指部位与所述触摸屏的接触区域。
在一种可能的实现中,所述装置还包括:
确定模块4904,用于基于所述接触手势的接触区域满足预设条件,确定所述接触手势指示所述用户的手侧面与触摸屏的接触;所述预设条件包括:
所述接触区域为长条状区域,所述长条状区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点。
在一种可能的实现中,所述装置还包括:
获取模块4903,用于获取所述接触手势的手势数据;
所述确定模块4904,还用于根据所述手势数据,通过神经网络,确定所述接触手势指示所述用户的手侧面与触摸屏的接触。
在一种可能的实现中,所述虚拟标尺与所述长条状区域的长边贴合,包括:
所述虚拟标尺的方向与所述长条状区域的长边指示的方向之间的锐夹角小于预设值;且所述虚拟标尺与所述长条状区域满足如下条件的一个:
所述虚拟标尺与所述长条状区域存在重叠;或者,所述虚拟标尺与所述长条状区域相切;或者,所述虚拟标尺与所述长条状区域之间的距离小于预设值。
在一种可能的实现中,所述检测模块4901,用于在所述根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺之前,检测到所述接触手势的维持时间大于预设时间。
在一种可能的实现中,所述检测模块4901,用于检测到所述接触手势的接触区域的移动;
所述显示模块4902,用于调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置跟随所述接触区域。
在一种可能的实现中,所述检测模块4901,用于检测到用户的抬手手势;
所述显示模块,用于响应于所述抬手手势,在所述触摸屏上隐藏所述虚拟标尺的显示。
在一种可能的实现中,所述基于所述接触手势指示所述用户的手侧面与触摸屏的接触,包括:
基于所述接触手势指示所述用户的手侧面与触摸屏进行了预设次数的敲击;
所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:
检测到用户的抬手手势;
响应于所述抬手手势,在所述触摸屏上维持所述虚拟标尺的显示。
在一种可能的实现中,所述检测模块4901,用于检测到用户针对于所述虚拟标尺的选择指令;
所述显示模块,用于响应于所述选择指令,显示触发控件,所述触发控件用于指示对所述虚拟标尺进行如下的至少一种操作:
删除操作、位置调整操作以及旋转操作。
在一种可能的实现中,所述虚拟标尺用于进行在所述触摸屏上显示的绘画直线段的长度测量;或者,
所述虚拟标尺用于进行在所述触摸屏上显示的绘画点之间的距离测量。
在一种可能的实现中,所述检测模块4901,用于检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段;
所述显示模块,用于显示所述绘画直线段的长度值;所述存在姿态关联包括:
与所述虚拟标尺的方向差异小于预设值;和/或,
与所述虚拟标尺之间的距离值小于预设值。
在一种可能的实现中,所述显示模块4902,用于根据所述待测量线段的位置,调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置与所述绘画直线贴合。
在一种可能的实现中,所述检测模块4901,用于在所述触摸屏上显示虚拟标尺之后,检测到所述触摸屏上的绘画线段与所述虚拟标尺存在第一交点和第二交点;
所述显示模块4902,用于显示所述第一交点和所述第二交点之间的距离值。
在一种可能的实现中,所述虚拟标尺用于作为在所述触摸屏上画直线时的参考工具。
在一种可能的实现中,所述检测模块4901,用于检测到在所述触摸屏上的画线手势;
所述显示模块4902,用于基于所述触摸屏上显示有所述虚拟标尺,且所述画线手势的画线位置与所述虚拟标尺之间的距离在预设距离内,根据所述画线手势的画线位置,显示绘画直线段,其中,所述绘画直线段与所述虚拟标尺平行。
在一种可能的实现中,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段。
在一种可能的实现中,所述画线位置包括起始点位置以及实时画线位置,所述方法还包括:
基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
本申请实施例提供了一种虚拟标尺显示装置,包括:检测模块4901,用于检测与所述触摸屏的接触手势;显示模块4902,用于基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。当检测到接触手势指示用户的手侧面与所述触摸屏的接触时,触发虚拟标尺的显示,一方面只需要用户的单手进行操作,操作难度和成本很小,另一方面,当用户的手部展开时,手侧面与触摸屏的接触区域为扁平的长条状区域,接近于一条直线,基于这种操作模式触发虚拟标尺的显示更符合用户的操作习惯。
参照图50,图50为本申请实施例提供的一种对象复制装置的结构示意,如图50所示,所述装置5000包括:
检测模块5001,用于检测到针对于触摸屏上显示的目标对象的拖动手势;所述检测模块,还用于在显示模块显示所述目标对象的镜像之后检测到抬手手势;
关于检测模块5001的具体描述可以参照步骤3701和步骤3703的描述,这里不再赘述。
显示模块5002,用于响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;所述显示模块,还用于响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。
关于显示模块5002的具体描述可以参照步骤3702和步骤3704的描述,这里不再赘述。
在一种可能的实现中,所述装置还包括:
使能模块5003,用于在所述检测到针对于触摸屏上显示的目标对象的拖动手势之前,在检测到如下的至少一种手势时,使能针对于所述目标对象的复制功能:
检测到针对于所述目标对象的长按手势;或者,
检测到针对于所述目标对象的单击手势。
在一种可能的实现中,所示检测模块5001,用于检测到与所述触摸屏的接触区域覆盖所述目标对象或者在所述目标对象周围预设距离内的长按手势。
在一种可能的实现中,所述拖动手势为保持所述长按手势与所述触摸屏的接触且在所述触摸屏上发生移动的手势。
在一种可能的实现中,所述长按手势为双指长按手势。
在一种可能的实现中,所述检测模块5001,用于检测到与所述触摸屏的接触区域覆盖所述目标对象的单击手势。
本申请实施例提供了一种对象复制装置,包括:检测模块5001,用于检测到针对于触摸屏上显示的目标对象的拖动手势;所述检测模块,还用于在显示模块显示所述目标对象的镜像之后检测到抬手手势;显示模块5002,用于响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;所述显示模块,还用于响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。拖动手势进行复制粘贴的方式,简单直观,降低了现有复制粘贴所需要步骤数量,缩短了复制粘贴的过程。
接下来介绍本申请实施例提供的一种终端设备,终端设备可以为图49以及图50中描述的装置,请参阅图51,图51为本申请实施例提供的终端设备的一种结构示意图,终端设备5100具体可以表现为电子白板、虚拟现实VR设备、手机、平板、笔记本电脑、智能穿戴设备等,此处不做限定。具体的,终端设备5100包括:接收器5101、发射器5102、处理器5103和存储器5104(其中终端设备5100中的处理器5103的数量可以一个或多个,图51中以一个处理器为例),其中,处理器5103可以包括应用处理器51031和通信处理器51032。在本申请的一些实施例中,接收器5101、发射器5102、处理器5103和存储器5104可通过总线或其它方式连接。
存储器5104可以包括只读存储器和随机存取存储器,并向处理器5103提供指令和数据。存储器5104的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory,NVRAM)。存储器5104存储有处理器和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。
处理器5103控制终端设备的操作。具体的应用中,终端设备的各个组件通过总线系统耦合在一起,其中总线系统除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器5103中,或者由处理器5103实现。处理器5103可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器5103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器5103可以是通用处理器、数字信号处理器(digital signal processing,DSP)、微处理器或微控制器,还可进一步包括专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器5103可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器5104,处理器5103读取存储器5104中的信息,结合其硬件完成上述方法的步骤。具体的,处理器5103可以读取存储器5104中的信息,结合其硬件完成上述实施例中步骤301至步骤302中与虚拟标尺显示相关的步骤,以及上述实施例中步骤3701至这步骤3704中与复制方法相关的步骤。
接收器5101可用于接收输入的数字或字符信息,以及产生与终端设备的相关设置以及功能控制有关的信号输入。发射器5102可用于通过第一接口输出数字或字符信息;发射器5102还可用于通过第一接口向磁盘组发送指令,以修改磁盘组中的数据;发射器5102还可以包括触摸屏等显示设备。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中图3以及图37a对应的实施例中描述的方法的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述实施例描述的方法中的图像处理方法的步骤。
本申请实施例提供的图像显示装置具体可以为芯片,芯片包括:处理单元和通信单元,所述处理单元例如可以是处理器,所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令,以使执行设备内的芯片执行上述实施例描述的数据处理方法,或者,以使训练设备内的芯片执行上述实施例描述的数据处理方法。可选地,所述存储单元为所述芯片内的存储单元,如寄存器、缓存等,所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元,如只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)等。
另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。

Claims (53)

1.一种虚拟标尺显示方法,其特征在于,应用于电子设备,所述电子设备包括触摸屏,所述方法包括:
检测与所述触摸屏的接触手势;
基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。
2.根据权利要求1所述的方法,其特征在于,所述手侧面为用户的手部在展开状态下位于小拇指一侧的手侧面。
3.根据权利要求1或2所述的方法,其特征在于,所述接触区域包括:
用户的手侧面的小鱼际部位与所述触摸屏的接触区域;或者,
用户的手侧面的小拇指部位与所述触摸屏的接触区域。
4.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
基于所述接触手势的接触区域满足预设条件,确定所述接触手势指示所述用户的手侧面与触摸屏的接触;所述预设条件包括:
所述接触区域为长条状区域,所述长条状区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点。
5.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
获取所述接触手势的手势数据;
根据所述手势数据,通过神经网络,确定所述接触手势指示所述用户的手侧面与触摸屏的接触。
6.根据权利要求1至5任一所述的方法,其特征在于,所述虚拟标尺与所述长条状区域的长边贴合,包括:
所述虚拟标尺的方向与所述长条状区域的长边指示的方向之间的锐夹角小于预设值;且所述虚拟标尺与所述长条状区域满足如下条件的一个:
所述虚拟标尺与所述长条状区域存在重叠;或者,所述虚拟标尺与所述长条状区域相切;或者,所述虚拟标尺与所述长条状区域之间的距离小于预设值。
7.根据权利要求1至6任一所述的方法,其特征在于,所述根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺之前,所述方法还包括:
检测到所述接触手势的维持时间大于预设时间。
8.根据权利要求1至7任一所述的方法,其特征在于,所述方法还包括:
检测到所述接触手势的接触区域的移动;
调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置跟随所述接触区域。
9.根据权利要求1至8任一所述的方法,其特征在于,所述方法还包括:
检测到用户的抬手手势;
响应于所述抬手手势,在所述触摸屏上隐藏所述虚拟标尺的显示。
10.根据权利要求1至9任一所述的方法,其特征在于,所述基于所述接触手势指示所述用户的手侧面与触摸屏的接触,包括:
基于所述接触手势指示所述用户的手侧面与触摸屏进行了预设次数的敲击;
所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:
检测到用户的抬手手势;
响应于所述抬手手势,在所述触摸屏上维持所述虚拟标尺的显示。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
检测到用户针对于所述虚拟标尺的选择指令;
响应于所述选择指令,显示触发控件,所述触发控件用于指示对所述虚拟标尺进行如下的至少一种操作:
删除操作、位置调整操作以及旋转操作。
12.根据权利要求1至11任一所述的方法,其特征在于,所述虚拟标尺用于进行在所述触摸屏上显示的绘画直线段的长度测量;或者,
所述虚拟标尺用于进行在所述触摸屏上显示的绘画点之间的距离测量。
13.根据权利要求1至12任一所述的方法,其特征在于,所述方法还包括:
检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段,显示所述绘画直线段的长度值;所述存在姿态关联包括:
与所述虚拟标尺的方向差异小于预设值;和/或,
与所述虚拟标尺之间的距离值小于预设值。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
根据所述待测量线段的位置,调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置与所述绘画直线贴合。
15.根据权利要求1至14任一所述的方法,其特征在于,所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:
检测到所述触摸屏上的绘画线段与所述虚拟标尺存在第一交点和第二交点,显示所述第一交点和所述第二交点之间的距离值。
16.根据权利要求1至15任一所述的方法,其特征在于,所述虚拟标尺用于作为在所述触摸屏上画直线时的参考工具。
17.根据权利要求1至16任一所述的方法,其特征在于,所述方法还包括:
检测到在所述触摸屏上的画线手势;
基于所述触摸屏上显示有所述虚拟标尺,且所述画线手势的画线位置与所述虚拟标尺之间的距离在预设距离内,根据所述画线手势的画线位置,显示绘画直线段,其中,所述绘画直线段与所述虚拟标尺平行。
18.根据权利要求17所述的方法,其特征在于,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段。
19.根据权利要求17或18所述的方法,其特征在于,所述画线位置包括起始点位置以及实时画线位置,所述方法还包括:
基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
20.一种对象复制方法,其特征在于,所述方法包括:
检测到针对于触摸屏上显示的目标对象的拖动手势;
响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;
检测到抬手手势;
响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。
21.根据权利要求20所述的方法,其特征在于,所述检测到针对于触摸屏上显示的目标对象的拖动手势之前,所述方法还包括:
在检测到如下的至少一种手势时,使能针对于所述目标对象的复制功能:
检测到针对于所述目标对象的长按手势;或者,
检测到针对于所述目标对象的单击手势。
22.根据权利要求21所述的方法,其特征在于,所述检测到针对于所述目标对象的长按手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象或者在所述目标对象周围预设距离内的长按手势。
23.根据权利要求21或22所述的方法,其特征在于,所述拖动手势为保持所述长按手势与所述触摸屏的接触且在所述触摸屏上发生移动的手势。
24.根据权利要求21至23任一所述的方法,其特征在于,所述长按手势为双指长按手势。
25.根据权利要求21至24任一所述的方法,其特征在于,所述检测到针对于所述目标对象的单击手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象的单击手势。
26.一种虚拟标尺显示装置,其特征在于,应用于电子设备,所述电子设备包括触摸屏,所述装置包括:
检测模块,用于检测与所述触摸屏的接触手势;
显示模块,用于基于所述接触手势指示用户的手侧面与所述触摸屏的接触,根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺,其中,所述接触手势的接触区域为长条状区域,所述虚拟标尺与所述长条状区域的长边贴合。
27.根据权利要求26所述的装置,其特征在于,所述手侧面为用户的手部在展开状态下位于小拇指一侧的手侧面。
28.根据权利要求26或27所述的装置,其特征在于,所述接触区域包括:
用户的手侧面的小鱼际部位与所述触摸屏的接触区域;或者,
用户的手侧面的小拇指部位与所述触摸屏的接触区域。
29.根据权利要求26至28任一所述的装置,其特征在于,所述装置还包括:
确定模块,用于基于所述接触手势的接触区域满足预设条件,确定所述接触手势指示所述用户的手侧面与触摸屏的接触;所述预设条件包括:
所述接触区域为长条状区域,所述长条状区域的形状和面积大小符合用户的手侧面的小鱼际部位和/或小拇指部位与所述触摸屏接触时接触区域的特点。
30.根据权利要求26至28任一所述的装置,其特征在于,所述装置还包括:
获取模块,用于获取所述接触手势的手势数据;
所述确定模块,还用于根据所述手势数据,通过神经网络,确定所述接触手势指示所述用户的手侧面与触摸屏的接触。
31.根据权利要求26至30任一所述的装置,其特征在于,所述虚拟标尺与所述长条状区域的长边贴合,包括:
所述虚拟标尺的方向与所述长条状区域的长边指示的方向之间的锐夹角小于预设值;且所述虚拟标尺与所述长条状区域满足如下条件的一个:
所述虚拟标尺与所述长条状区域存在重叠;或者,所述虚拟标尺与所述长条状区域相切;或者,所述虚拟标尺与所述长条状区域之间的距离小于预设值。
32.根据权利要求26至31任一所述的装置,其特征在于,所述检测模块,用于在所述根据所述接触手势的接触区域,在所述触摸屏上显示虚拟标尺之前,检测到所述接触手势的维持时间大于预设时间。
33.根据权利要求26至32任一所述的装置,其特征在于,所述检测模块,用于检测到所述接触手势的接触区域的移动;
所述显示模块,用于调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置跟随所述接触区域。
34.根据权利要求26至33任一所述的装置,其特征在于,所述检测模块,用于检测到用户的抬手手势;
所述显示模块,用于响应于所述抬手手势,在所述触摸屏上隐藏所述虚拟标尺的显示。
35.根据权利要求26至34任一所述的装置,其特征在于,所述基于所述接触手势指示所述用户的手侧面与触摸屏的接触,包括:
基于所述接触手势指示所述用户的手侧面与触摸屏进行了预设次数的敲击;
所述在所述触摸屏上显示虚拟标尺之后,所述方法还包括:
检测到用户的抬手手势;
响应于所述抬手手势,在所述触摸屏上维持所述虚拟标尺的显示。
36.根据权利要求35所述的装置,其特征在于,所述检测模块,用于检测到用户针对于所述虚拟标尺的选择指令;
所述显示模块,用于响应于所述选择指令,显示触发控件,所述触发控件用于指示对所述虚拟标尺进行如下的至少一种操作:
删除操作、位置调整操作以及旋转操作。
37.根据权利要求26至36任一所述的装置,其特征在于,所述虚拟标尺用于进行在所述触摸屏上显示的绘画直线段的长度测量;或者,
所述虚拟标尺用于进行在所述触摸屏上显示的绘画点之间的距离测量。
38.根据权利要求26至37任一所述的装置,其特征在于,所述检测模块,用于检测到所述触摸屏上存在与所述虚拟标尺存在姿态关联的绘画直线段;
所述显示模块,用于显示所述绘画直线段的长度值;所述存在姿态关联包括:
与所述虚拟标尺的方向差异小于预设值;和/或,
与所述虚拟标尺之间的距离值小于预设值。
39.根据权利要求38所述的装置,其特征在于,所述显示模块,用于根据所述待测量线段的位置,调整所述虚拟标尺的显示位置,以便所述虚拟标尺的显示位置与所述绘画直线贴合。
40.根据权利要求26至39任一所述的装置,其特征在于,所述检测模块,用于在所述触摸屏上显示虚拟标尺之后,检测到所述触摸屏上的绘画线段与所述虚拟标尺存在第一交点和第二交点;
所述显示模块,用于显示所述第一交点和所述第二交点之间的距离值。
41.根据权利要求26至40任一所述的装置,其特征在于,所述虚拟标尺用于作为在所述触摸屏上画直线时的参考工具。
42.根据权利要求26至41任一所述的装置,其特征在于,所述检测模块,用于检测到在所述触摸屏上的画线手势;
所述显示模块,用于基于所述触摸屏上显示有所述虚拟标尺,且所述画线手势的画线位置与所述虚拟标尺之间的距离在预设距离内,根据所述画线手势的画线位置,显示绘画直线段,其中,所述绘画直线段与所述虚拟标尺平行。
43.根据权利要求42所述的装置,其特征在于,所述画线位置包括起始点位置以及终止点位置,所述绘画直线段为所述起始点位置与所述终止点位置之间的线段。
44.根据权利要求41或42所述的装置,其特征在于,所述画线位置包括起始点位置以及实时画线位置,所述方法还包括:
基于所述实时画线位置,显示画线长度,所述画线长度为所述起始点位置与所述实时画线位置之间的距离值。
45.一种对象复制装置,其特征在于,所述装置包括:
检测模块,用于检测到针对于触摸屏上显示的目标对象的拖动手势;所述检测模块,还用于在显示模块显示所述目标对象的镜像之后检测到抬手手势;
显示模块,用于响应于所述拖动手势,在所述触摸屏上显示所述目标对象的镜像,并根据所述拖动手势,实时更新所述镜像的显示位置,以便所述镜像跟随所述拖动手势移动;所述显示模块,还用于响应于所述抬手手势,将所述镜像固定显示在所述镜像所处的显示位置上。
46.根据权利要求45所述的装置,其特征在于,所述装置还包括:
使能模块,用于在所述检测到针对于触摸屏上显示的目标对象的拖动手势之前,在检测到如下的至少一种手势时,使能针对于所述目标对象的复制功能:
检测到针对于所述目标对象的长按手势;或者,
检测到针对于所述目标对象的单击手势。
47.根据权利要求46所述的装置,所述检测到针对于所述目标对象的长按手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象或者在所述目标对象周围预设距离内的长按手势。
48.根据权利要求46或47所述的装置,所述拖动手势为保持所述长按手势与所述触摸屏的接触且在所述触摸屏上发生移动的手势。
49.根据权利要求46至48任一所述的装置,所述长按手势为双指长按手势。
50.根据权利要求46至49任一所述的装置,所述检测到针对于所述目标对象的单击手势,包括:
检测到与所述触摸屏的接触区域覆盖所述目标对象的单击手势。
51.一种电子设备,其特征在于,所述设备包括处理器、存储器、触摸屏和总线,其中:
所述处理器、所述存储器和所述触摸屏通过所述总线连接;
所述存储器,用于存放计算机程序或指令;
所述处理器,用于调用或执行所述存储器上所存放的程序或指令,还用于控制触摸屏,以实现权利要求1-25任一所述的方法步骤。
52.一种计算机可读存储介质,包括程序,当其在计算机上运行时,使得计算机执行如权利要求1至25中任一项所述的方法。
53.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在终端上运行时,使得所述终端执行所述权利要求1-25中任一权利要求所述的方法。
CN202110644928.3A 2021-06-09 2021-06-09 一种虚拟标尺显示方法以及相关设备 Pending CN113515228A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110644928.3A CN113515228A (zh) 2021-06-09 2021-06-09 一种虚拟标尺显示方法以及相关设备
PCT/CN2022/097085 WO2022257870A1 (zh) 2021-06-09 2022-06-06 一种虚拟标尺显示方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644928.3A CN113515228A (zh) 2021-06-09 2021-06-09 一种虚拟标尺显示方法以及相关设备

Publications (1)

Publication Number Publication Date
CN113515228A true CN113515228A (zh) 2021-10-19

Family

ID=78065759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644928.3A Pending CN113515228A (zh) 2021-06-09 2021-06-09 一种虚拟标尺显示方法以及相关设备

Country Status (2)

Country Link
CN (1) CN113515228A (zh)
WO (1) WO2022257870A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257870A1 (zh) * 2021-06-09 2022-12-15 华为技术有限公司 一种虚拟标尺显示方法以及相关设备
CN115774513A (zh) * 2022-11-22 2023-03-10 北京元跃科技有限公司 基于尺子确定绘画方向的系统、方法、电子设备及介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096548A (zh) * 2009-12-11 2011-06-15 达索系统公司 采用触控式显示器复制对象的方法和系统
CN102141887A (zh) * 2010-01-28 2011-08-03 微软公司 画笔、复写和填充手势
CN102169408A (zh) * 2010-02-04 2011-08-31 微软公司 链接手势
CN104732007A (zh) * 2013-12-20 2015-06-24 达索系统公司 具有包括用于复制和操作建模对象的机制的触控式显示器的设备
CN105278734A (zh) * 2014-06-10 2016-01-27 希迪普公司 触摸传感器面板的控制方法和控制设备
CN105278818A (zh) * 2014-06-27 2016-01-27 腾讯科技(深圳)有限公司 一种即时通讯软件中的内容复制方法和装置
CN107636593A (zh) * 2015-06-07 2018-01-26 苹果公司 用于提供虚拟绘图辅助工具和与其进行交互的设备、方法和图形用户界面
CN109074217A (zh) * 2016-03-28 2018-12-21 微软技术许可有限责任公司 用于多点触摸输入检测的应用
JP2019101876A (ja) * 2017-12-05 2019-06-24 アルプスアルパイン株式会社 入力装置、入力制御装置、操作対象機器、およびプログラム
CN110245643A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 目标跟踪拍摄方法、装置、电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113515228A (zh) * 2021-06-09 2021-10-19 华为技术有限公司 一种虚拟标尺显示方法以及相关设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096548A (zh) * 2009-12-11 2011-06-15 达索系统公司 采用触控式显示器复制对象的方法和系统
CN102141887A (zh) * 2010-01-28 2011-08-03 微软公司 画笔、复写和填充手势
CN102169408A (zh) * 2010-02-04 2011-08-31 微软公司 链接手势
CN104732007A (zh) * 2013-12-20 2015-06-24 达索系统公司 具有包括用于复制和操作建模对象的机制的触控式显示器的设备
CN105278734A (zh) * 2014-06-10 2016-01-27 希迪普公司 触摸传感器面板的控制方法和控制设备
CN105278818A (zh) * 2014-06-27 2016-01-27 腾讯科技(深圳)有限公司 一种即时通讯软件中的内容复制方法和装置
CN107636593A (zh) * 2015-06-07 2018-01-26 苹果公司 用于提供虚拟绘图辅助工具和与其进行交互的设备、方法和图形用户界面
CN109074217A (zh) * 2016-03-28 2018-12-21 微软技术许可有限责任公司 用于多点触摸输入检测的应用
JP2019101876A (ja) * 2017-12-05 2019-06-24 アルプスアルパイン株式会社 入力装置、入力制御装置、操作対象機器、およびプログラム
CN110245643A (zh) * 2019-06-21 2019-09-17 上海摩象网络科技有限公司 目标跟踪拍摄方法、装置、电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022257870A1 (zh) * 2021-06-09 2022-12-15 华为技术有限公司 一种虚拟标尺显示方法以及相关设备
CN115774513A (zh) * 2022-11-22 2023-03-10 北京元跃科技有限公司 基于尺子确定绘画方向的系统、方法、电子设备及介质

Also Published As

Publication number Publication date
WO2022257870A1 (zh) 2022-12-15

Similar Documents

Publication Publication Date Title
US9996176B2 (en) Multi-touch uses, gestures, and implementation
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
US8842084B2 (en) Gesture-based object manipulation methods and devices
JP5507494B2 (ja) タッチ・スクリーンを備える携帯式電子機器および制御方法
CN111475097B (zh) 一种笔迹选择方法、装置、计算机设备和存储介质
CN105094654B (zh) 一种屏幕控制方法及装置
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
US20120313865A1 (en) Interactive surface with a plurality of input detection technologies
KR20150014083A (ko) 전자 장치 및 전자 장치의 입력 인식 방법
US9262012B2 (en) Hover angle
WO2014075612A1 (zh) 人机交互方法及界面
WO2022257870A1 (zh) 一种虚拟标尺显示方法以及相关设备
WO2023030377A1 (zh) 一种写画内容显示方法以及相关设备
US11137903B2 (en) Gesture-based transitions between modes for mixed mode digital boards
Krithikaa Touch screen technology–a review
US10860120B2 (en) Method and system to automatically map physical objects into input devices in real time
WO2016208099A1 (ja) 情報処理装置、情報処理装置に対する入力を制御する入力制御方法及び入力制御方法を情報処理装置に実行させるためのプログラム
TWI603226B (zh) 體感偵測器之手勢辨識方法
TW202248820A (zh) 電子裝置
JP2015064805A (ja) 表示装置およびプログラム
CN112698739B (zh) 一种控制方法及装置
US11604578B2 (en) Touch control method and touch control system applying ihe same
CN109558007B (zh) 手势控制装置及其方法
Huot Touch Interfaces
Paturde et al. Multitouch and Gesture Recognition Technology Using Computer Interaction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination