CN104714639B - 跨空间进行操作的方法及客户端 - Google Patents

跨空间进行操作的方法及客户端 Download PDF

Info

Publication number
CN104714639B
CN104714639B CN201410851738.9A CN201410851738A CN104714639B CN 104714639 B CN104714639 B CN 104714639B CN 201410851738 A CN201410851738 A CN 201410851738A CN 104714639 B CN104714639 B CN 104714639B
Authority
CN
China
Prior art keywords
target
foregoing
pairing
hanging thing
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410851738.9A
Other languages
English (en)
Other versions
CN104714639A (zh
Inventor
马宇尘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Science And Education Equipment Co Ltd Of Shanghai Child State
Original Assignee
Science And Education Equipment Co Ltd Of Shanghai Child State
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Science And Education Equipment Co Ltd Of Shanghai Child State filed Critical Science And Education Equipment Co Ltd Of Shanghai Child State
Priority to CN201410851738.9A priority Critical patent/CN104714639B/zh
Publication of CN104714639A publication Critical patent/CN104714639A/zh
Application granted granted Critical
Publication of CN104714639B publication Critical patent/CN104714639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种跨空间进行操作的方法及客户端，属于计算终端、软件技术领域。所述的方法包括：在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。利用本发明，能够通过悬空的方式对计算终端中的视窗区域进行操作。

Description

跨空间进行操作的方法及客户端
技术领域
本发明属于计算终端、软件技术领域。
背景技术
目前计算终端的技术发展迅速，比如台式机电脑、笔记本电脑、平板电脑、个人数字助理、数码照相机、智能手机，等等。尤其是智能手机，它逐渐成为人们普遍拥有的智能终端形式。在利用计算终端进行操作时，目前主要的操作方式有两种，其中之一是通过键盘和鼠标等形式进行的操作，其中之二是通过触摸屏等形式进行的操作。但这两者进行操作的过程中，也都有不便之处。
发明内容
本发明的目的是提供一种跨空间进行操作的方法，以及对应的客户端，利用本发明，能够通过悬空的方式对计算终端中的视窗区域进行操作。
所述的方法，包括如下步骤：
在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；
采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；
在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。
进一步，所述的悬空物为用户的手部和/或手指。
进一步，所述的配对发生过程是，
采集用户眼睛和手部所对应的图像信息，对其进行空间定位；
从眼睛到手设置直线形式的连线，并对该连线设置延长线；
判定前述的延长线能否和前述的视窗配对目标两者进行交汇；
在前述两者进行交汇的情况下，触发完成前述悬空物和视窗配对目标两者之间的配对操作。
进一步，所述的配对发生过程是，
采集视窗前部的图像信息，判定其中是否包括有手部的图像；
在包括有手部图像的情况下，对该手部图像进行三维定位，获取该手部图像到前述视窗区域所在平面的垂线，获得与该视窗区域所在平面之间的垂足；
判断前述的垂足是否与前述的视窗配对目标所在的位置交汇；
在没有交汇的情况下，不建立配对关系，在进行交汇的情况下，建立起配对关系。
进一步，所述的配对发生过程是，
在视窗中具有视窗配对目标的情况下，触发对语音信息的采集操作；
判定是否能够采集获得触发配对操作的关键词，在采集获得的情况下转入到下一步骤；
判定视窗前部是否具有符合预设要求的手部图像，或者其它符合预设要求的悬空物出现，在具有的情况下，将前述的视窗配对目标和前述的悬空物之间建立起配对关系。
进一步，前述的视窗配对目标的操作功能是作为鼠标器使用的，其操作方式为，
预设手部作为悬空物，其中取当前手部的最高位置作为和光标位置相对应的控制结构，采集该最高位置的移动信息，带动光标位置进行对应的移动操作；
采集位于最高位置左侧的手指的点击消息，作为点击鼠标左键的操作消息，和/或采集位于最高位置右侧的手指点击消息，作为点击右键的操作消息，和/或采集最高位置的上下来回移动的操作消息，作为鼠标滚轮的滚动操作消息。
进一步，前述的鼠标滚轮的滚动操作，按照整个最高点位置的上移操作作为向上滚动的触发消息，将整个最高点位置的下移操作作为向下滚动的触发消息。
进一步，前述的视窗配对目标，是可编辑图形上的节点，在通过悬空物与该节点进行配对之后，通过采集悬空物的移动操作，拖动该节点进行对应的移动操作。
本发明还提供一种跨空间进行操作的客户端，该客户端包括：
配对目标输出单元，用以在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；
悬空物判定单元，采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；
配对执行单元，在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。
附图说明
图1是本发明所述方法的流程图。
图2是本发明所述客户端的结构框图。
具体实施方式
参图1所示，这儿所描述的方法包括如下步骤：
步骤110，在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；
步骤120，采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；
步骤130，在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。
进一步，前述的技术方案包括有如下技术特征：
所述的悬空物为用户的手部和/或手指。
所述的配对发生过程是：
采集用户眼睛和手部所对应的图像信息，对其进行空间定位；
从眼睛到手设置直线形式的连线，并对该连线设置延长线；
判定前述的延长线能否和前述的视窗配对目标两者进行交汇；
在前述两者进行交汇的情况下，触发完成前述悬空物和视窗配对目标两者之间的配对操作。
所述的配对过程还可以这样进行：
采集视窗前部的图像信息，判定其中是否包括有手部的图像；
在包括有手部图像的情况下，对该手部图像进行三维定位，获取该手部图像到前述视窗区域所在平面的垂线，获得与该视窗区域所在平面之间的垂足；
判断前述的垂足是否与前述的视窗配对目标所在的位置交汇；
在没有交汇的情况下，不建立配对关系，在进行交汇的情况下，建立起配对关系。
所述的配对过程还可以这样进行：
在视窗中具有视窗配对目标的情况下，触发对语音信息的采集操作；
判定是否能够采集获得触发配对操作的关键词，在采集获得的情况下转入到下一步骤；
判定视窗前部是否具有符合预设要求的手部图像，或者其它符合预设要求的悬空物出现，在具有的情况下，将前述的视窗配对目标和前述的悬空物之间建立起配对关系。
前述的视窗配对目标的具体操作功能是不限定的，作为举例而非限定，可以作为鼠标器进行操作使用。
具体说来，可以通过如下的方式进行操作：
预设手部作为悬空物，其中取当前手部的最高位置作为和光标位置相对应的控制结构，采集该最高位置的移动信息，带动光标位置进行对应的移动操作；
采集位于最高位置左侧的手指的点击消息，作为点击鼠标左键的操作消息，和/或采集位于最高位置右侧的手指点击消息，作为点击右键的操作消息，和/或采集最高位置的上下来回移动的操作消息，作为鼠标滚轮的滚动操作消息。
进一步，前述的鼠标滚轮的滚动操作，按照整个最高点位置的上移操作作为向上滚动的触发消息，将整个最高点位置的下移操作作为向下滚动的触发消息。
前述的视窗配对目标，是可编辑图形上的节点，在通过悬空物与该节点进行配对之后，通过采集悬空物的移动操作，拖动该节点进行对应的移动操作。
参图2所示，这儿所描述的本发明所提供的一种客户端200，该客户端包括有如下组成部分：
配对目标输出单元210，用以在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；
悬空物判定单元220，采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；
配对执行单元230，在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。
在使用中，通过前述的配对目标输出单元210，在用户所使用终端的视窗中输出视窗配对目标，在具有该视窗配对目标的情况下，才能够进行配对操作。而该视窗配对目标能够对所在视窗中的对象进行操作。对所在终端进行操作的形式，具体是不限定的。可以是对市场中所显示内容的点击操作，也可以进行图像的绘制操作，或者对所在终端上的各种客户端的触发操作，或者是对视窗所在终端关机、注销或重启操作，等等。
在配对过程中，通过前述的悬空物判定单元220，采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对。所述的悬空物并不限定，但尤其指的是用户的手部图像。通过配对执行单元230，在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。
更多的技术细节，参前面方法部分的描述。
以上是对本发明的描述而非限定，基于本发明思想的其它实施例，亦均在本发明的保护范围之中。

Claims (6)

1.一种跨空间进行操作的方法，其特征在于该方法包括如下步骤：
在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；
采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；
在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息；
其中，所述的配对的发生过程是，
在视窗中具有视窗配对目标的情况下，触发对语音信息的采集操作；
判定是否能够采集获得触发配对操作的关键词，在采集获得的情况下转入到下一步骤；
判定视窗前部是否具有符合预设要求的手部图像，或者其它符合预设要求的悬空物出现，在具有的情况下，将前述的视窗配对目标和前述的悬空物之间建立起配对关系。
2.根据权利要求1所述的一种跨空间进行操作的方法，其特征在于：所述的悬空物为用户的手部和/或手指。
3.根据权利要求1所述的一种跨空间进行操作的方法，其特征在于：前述的视窗配对目标的操作功能是作为鼠标器使用的，其操作方式为，
预设手部作为悬空物，其中取当前手部的最高位置作为和光标位置相对应的控制结构，采集该最高位置的移动信息，带动光标位置进行对应的移动操作；
采集位于最高位置左侧的手指的点击消息，作为点击鼠标左键的操作消息，和/或采集位于最高位置右侧的手指点击消息，作为点击右键的操作消息，和/或采集最高位置的上下来回移动的操作消息，作为鼠标滚轮的滚动操作消息。
4.根据权利要求3所述的一种跨空间进行操作的方法，其特征在于：前述的鼠标滚轮的滚动操作，按照整个最高点位置的上移操作作为向上滚动的触发消息，将整个最高点位置的下移操作作为向下滚动的触发消息。
5.根据权利要求1所述的一种跨空间进行操作的方法，其特征在于：前述的视窗配对目标，是可编辑图形上的节点，在通过悬空物与该节点进行配对之后，通过采集悬空物的移动操作，拖动该节点进行对应的移动操作。
6.一种实现权利要求1所述方法的跨空间进行操作的客户端，其特征在于该客户端包括：
配对目标输出单元，用以在计算终端的视窗区域呈现视窗配对目标，该视窗配对目标能够对所在视窗中的对象进行操作；
悬空物判定单元，采集视窗前方区域的图像信息，判定是否具有悬空物能够和前述的视窗配对目标之间进行配对；
配对执行单元，在完成配对的情况下，通过采集悬空物的操作信息作为前述视窗配对目标所发出的操作信息。
CN201410851738.9A 2014-12-30 2014-12-30 跨空间进行操作的方法及客户端 Active CN104714639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410851738.9A CN104714639B (zh) 2014-12-30 2014-12-30 跨空间进行操作的方法及客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410851738.9A CN104714639B (zh) 2014-12-30 2014-12-30 跨空间进行操作的方法及客户端

Publications (2)

Publication Number Publication Date
CN104714639A CN104714639A (zh) 2015-06-17
CN104714639B true CN104714639B (zh) 2017-09-29

Family

ID=53414049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410851738.9A Active CN104714639B (zh) 2014-12-30 2014-12-30 跨空间进行操作的方法及客户端

Country Status (1)

Country Link
CN (1) CN104714639B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN102693063A (zh) * 2011-03-23 2012-09-26 联想(北京)有限公司 操作控制方法、装置及电子设备
CN103425242A (zh) * 2012-05-03 2013-12-04 仁宝电脑工业股份有限公司 电子装置及其操作方法
CN103955639A (zh) * 2014-03-18 2014-07-30 深圳市中兴移动通信有限公司 一种体感游戏机及其体感游戏的登录方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5294612B2 (ja) * 2007-11-15 2013-09-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想共有空間における参照マークの自動生成方法、装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816A (zh) * 2008-08-15 2009-01-14 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN102693063A (zh) * 2011-03-23 2012-09-26 联想(北京)有限公司 操作控制方法、装置及电子设备
CN103425242A (zh) * 2012-05-03 2013-12-04 仁宝电脑工业股份有限公司 电子装置及其操作方法
CN103955639A (zh) * 2014-03-18 2014-07-30 深圳市中兴移动通信有限公司 一种体感游戏机及其体感游戏的登录方法和装置

Also Published As

Publication number Publication date
CN104714639A (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
US12089121B2 (en) Easy location sharing
AU2021250944B2 (en) Image data for enhanced user interactions
AU2018260930B2 (en) Handwriting keyboard for small screens
US20230025724A1 (en) Activity trends and workouts
US20200183577A1 (en) Devices, Methods, and Graphical User Interfaces for Messaging
US20210145321A1 (en) Workout monitor interface
US20230316426A1 (en) Managing contact information for communication applications
EP3149501B1 (en) Battery usage tracking user interface
US11900831B1 (en) Fitness and social accountability
US11422765B2 (en) Cross device interactions
CN106023279A (zh) 曲线绘制方法和系统
CN105468279B (zh) 触屏操作识别和响应方法、装置及游戏操控方法、装置
CN103823630A (zh) 一种虚拟鼠标
EP4323857A1 (en) Avatar sticker editor user interfaces
CN107797656A (zh) 用于触觉混合的设备、方法和图形用户界面
CN104714639B (zh) 跨空间进行操作的方法及客户端
EP3417361B1 (en) Devices and methods for processing touch inputs based on adjusted input parameters
CN104484117B (zh) 人机交互方法及装置
US12099772B2 (en) Cross device interactions
WO2024064393A1 (en) Movement user interface
DK201770921A1 (en) Handwriting keyboard for screens

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant