CN105940672B - 检测在用户设备的屏幕上描绘的图案 - Google Patents

检测在用户设备的屏幕上描绘的图案 Download PDF

Info

Publication number
CN105940672B
CN105940672B CN201580006462.7A CN201580006462A CN105940672B CN 105940672 B CN105940672 B CN 105940672B CN 201580006462 A CN201580006462 A CN 201580006462A CN 105940672 B CN105940672 B CN 105940672B
Authority
CN
China
Prior art keywords
pattern
camera
user
gesture
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580006462.7A
Other languages
English (en)
Other versions
CN105940672A (zh
Inventor
N·帕夫洛夫
O·奇纳尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN105940672A publication Critical patent/CN105940672A/zh
Application granted granted Critical
Publication of CN105940672B publication Critical patent/CN105940672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

一种用户终端，包括：网络接口；触摸屏，其被配置为接收由用户所描绘的图案；第一相机，其被配置为捕获图像，其中，用户终端被配置为将所捕获的图像作为视频通话的一部分而从第一相机传输至至少一个另外的用户终端；第二相机；存储器，其被配置为存储有关至少一种图案的信息；检测模块，其被配置为使用所存储的信息来检测在用户终端的触摸屏的区域上所描绘的至少一种图案一种；以及控制模块，其被配置为响应于所述检测而从第一相机切换至第二相机，以便使用第二相机来捕获图像，控制模块使得从第二相机所捕获的图像经由网络接口而传输至至少一个另外的用户设备。

Description

检测在用户设备的屏幕上描绘的图案
背景技术
越来越多的设备都装备有触摸屏技术，通过该技术，用户设备的用户通过直接操纵显示在屏幕上的图形用户界面(GUI)上的图形符号来与设备进行交互。
在一些实例中，为了指示用户设备执行期望的功能或者浏览GUI的菜单，用户必须对GUI执行数次操纵。通常，这些操纵涉及用户按压GUI上的专用图标以便实行期望的动作。
发明内容
该主题关于包括网络接口以及被配置为对图像进行捕获的第一相机的用户终端。该用户终端被配置为将从第一相机所捕获的图像作为视频通话(例如，通过互联网的VoIP通话)的一部分经由网络接口而发送至至少一个另外的用户终端。该用户终端还包括第二相机以及被配置为存储与至少一种图案有关的信息的存储器。例如，第一相机和第二相机可以是智能电话或平板计算机等的前置和后置相机，或者任何其它相机配对。用户终端还包括检测模块，其被配置为使用所存储的信息来检测在该用户终端的显示器屏幕的区域上所描绘的图案。例如，该图案可以是Z字形或者任何其它合适的图案。用户终端还包括控制模块，其被配置为响应于所述检测而从第一相机切换至第二相机以便使用第二相机来对图像进行捕获，控制模块使得从第二相机所捕获的图像作为视频通话的一部分经由网络接口而发送至至少一个另外的用户设备。
该主题还关于对应的计算机可读介质，所述计算机可读介质具有存储于其上的实现在本文中所描述的方法的指令。
该主题还关于一种检测在用户设备的显示器上所描绘的图案的方法。该方法包括接收与由用户在用户设备的显示器上所描绘的图案有关的信息。该方法还包括根据所接收到的信息来确定由用户所描绘的图案是否包括一系列的三个手势。可以在描绘实现不离开显示器的情况下以连续的方式来描绘所述一系列的手势。可替代地，可以在已经描绘了该系列中的手势之后从设备中移除描绘实现。该方法还包括根据所接收到的信息来确定该系列中的每个手势是否具有不同的运动向量以及该运动向量的相对运动。该方法还包括：如果所描绘的图案包括一系列的三个手势，并且这三个手势的相对运动向量处于在存储器中所存储的表征Z字形的规则内，则确定已经在用户设备的显示器上描绘了预先确定的图案，而无论所描绘的图案的位置、大小和朝向如何。
提供了该发明内容以用简化的形式介绍在下文的具体实施方式中所进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用于限制所要求保护的主题的范围。
附图说明
为了更好地理解本公开并示出可以如何实施本公开，现在将作为示例对以下附图进行参考，其中：
图1示出了通信系统的示意图；
图2示出了用户终端的详细视图；
图3示出了在视频通话期间用户终端的显示器屏幕的示意图；
图4示出了用户终端的显示器屏幕的进一步的示意图。
具体实施方式
在本公开中，描述了实施例，在所述实施例中，用户可以通过在用户终端的显示器上所描绘(trace)的图案来与装备有触摸屏的用户终端进行交互。
在一个实施例中，用户终端(UT)装备有至少两个相机，并且该用户终端被配置为使用其中一个相机来捕获视频数据，并且将该视频数据作为通信事件(例如，视频通话)的一部分发送至远程设备。在该实施例中，终端可以检测用户是否在UT的显示器屏幕上描绘图案。如果UT确定用户已经在屏幕上描绘了图案，则该UT切换相机以便使用另一个相机来捕获视频通话的图像数据。
可选地，用户可以在显示器屏幕的任何位置处描绘图案。可替代地，UT可以只有当用户在显示器屏幕的某个区域内追踪图案的情况下才切换用于捕获视频数据的相机。
在另一个实施例中，用户终端可以检测在所述终端的显示器屏幕上所描绘的图案。该用户终端可以检测到，如果所描绘的图案满足表征该图案的某些规则，那么可以已经描绘了预先确定的图案。这可以允许图案被检测到，而无论所描绘图案的位置、大小和方位如何。
现在将仅作为示例来描述本公开的实施例。
图1示出了通信系统100，其包括与第一用户终端102相关联的第一用户104(用户A)、以及与第二用户终端108相关联的第二用户110(用户B)。尽管为了简单起见仅在图1中示出了两个用户，但通信系统100可以包括任何数量的用户和相关联的用户设备。用户终端102和用户终端108可以通过通信系统100中的通信网络106进行通信，从而允许用户104和用户110通过网络106彼此进行通信。网络106可以是能够在第一用户终端102与第二用户终端108之间提供通信信道的任何合适的网络。例如，网络106可以是互联网或者诸如高数据速率移动网络之类的另一种类型的网络，例如第三代(3G)移动网络。用户终端102可以是例如，移动电话、个人数字助理(PDA)、个人计算机(PC)(包括例如，WindowsTM、Mac OSTM和LinuxTM的PC)、游戏设备、或者能够连接至网络106的其它嵌入式设备。用户终端102被设置为从用户终端102的用户104处接收信息并向用户终端102的用户104输出信息。在一个实施例中，用户终端102包括诸如屏幕之类的显示器、以及诸如小键盘、触摸屏、和/或麦克风之类的输入设备。用户终端102连接至网络106。
随着移动带宽的增加，也存在增加的对经由在移动设备(例如，支持互联网的移动电话)上运行的客户端应用来提供基于分组的视频通话的兴趣。这些移动设备包括收发机，例如在一个或多个未经许可的频带上进行操作以用于经由无线接入点(例如，WLAN网络的WiFi接入点)来访问互联网的短距离RF收发机，和/或在一个或多个经许可的频带上进行操作以经由基于分组的蜂窝网络服务(例如GPRS(通用分组无线服务)或HSPA(高速分组访问))来访问互联网的蜂窝收发机。
用户终端102执行由与通信系统100相关联的软件供应商所提供的通信客户端112。通信客户端是在用户终端102中的本地处理器上执行的软件程序(即，通信模块)。该客户端执行在用户终端102处所要求的处理，以便使得用户终端102通过通信系统100来发送数据并接收数据。
用户终端108可以对应于用户终端102。用户终端108在本地处理器上执行通信客户端114，其对应于在用户终端102处执行的通信客户端。用户终端108处的通信客户端执行允许用户110通过网络106进行通信所要求的处理，这与以在用户终端102处的客户端执行所要求的处理以允许用户104通过网络106进行通信的方式相同。用户终端102和108是通信系统中的端点。图1为了简单起见仅示出了两个用户(104和110)和两个用户终端(102和108)，但是如在本领域中公知的，在通信系统100中可以包括更多用户和用户设备，并且可以使用在相应的用户设备上执行的相应的通信客户端来通过通信系统100进行通信。
图2图示了在其上执行通信客户端112以用于通过通信系统100进行通信的用户终端102的详细视图。用户终端102包括其上耦合了触摸屏204的中央处理单元(CPU)202。CPU连接至第一相机206和第二相机208。输出音频设备210(例如，扬声器)和输入音频设备212(例如，麦克风)连接至CPU 202。触摸屏204、相机206和相机208、输出音频设备210、以及输入音频设备212可以如在图2中所示出的那样被集成到用户终端102中。在可替代的用户终端中，触摸屏204、相机206和相机208、输出音频设备210、以及输入音频设备212中的一个或多个可以不集成到用户终端102中，而是可以经由相应接口连接至CPU 202。这样的接口的一个示例是USB接口。CPU 202连接至网络接口214(例如，调制解调器)以用于利用网络106进行通信。网络接口214可以如在图2中所示出的那样被集成到用户终端102中。在可替代的用户终端中，网络接口214不被集成到用户终端102中。用户终端102还包括如在本领域中公知的用于存储数据的存储器216。存储器216可以是永久性存储器，例如ROM。存储器216可替代地可以是暂时存储器，例如RAM。触摸屏可以被配置为对用户的触摸(例如，来自用户的手的触摸)做出反应。可替代地或另外地，可以通过使用触摸笔来操作触摸屏。
图2还示出了在CPU 202上执行的操作系统(OS)218。在OS 218上运行的是通信客户端应用220的软件栈。该软件栈示出了I/O层222、客户端引擎层224、以及客户端用户界面层(UI)226。每一层负责具体的功能。由于每一层通常与其它两层进行通信，因此它们被认为是如图2所示出的那样设置在栈中。操作系统218管理计算机的硬件资源，并且对经由网络接口214而传输至网络106或从网络106中所传输的数据进行处理。I/O层222包括音频和/或视频编解码器，根据需要，所述编码解码器接收输入的经编码的流并且对它们进行解码以输出至扬声器210和/或触摸屏204，并且所述编码解码器从麦克风212和/或相机206和相机208中接收未经编码的音频数据和/或视频数据，并且对它们进行编码以作为流传输至通信系统100的其它末端用户终端。客户端引擎层224处理如在上文中所讨论的VoIP系统的连接管理功能，例如，通过基于服务器的或P2P的地址查找和认证来建立通话或其它连接。客户端引擎还可以负责未在本文中讨论的其它次要功能。客户端引擎层224还与客户端用户界面层226进行通信。客户端引擎层224可以被设置为控制客户端用户界面层226，以经由显示在触摸屏204上的该客户端的用户界面向用户终端200的用户呈现信息，并且经由该用户界面从用户终端200的用户处接收信息。客户端引擎包括将在下文中更加详细地描述的控制模块234。
通信客户端应用220还包括手势检测模块230和手势库，它们的功能将在下文中更为详细地进行描述。
OS包括一个或多个应用程序接口(API)228。API是由硬件组件或者软件组件的程序来实现的接口，其允许不同的硬件组件或软件组件的程序访问由实现该API的组件所提供的服务。尽管为了清楚起见在图2中出仅仅示出了一个API，但是本领域技术人员应当理解的是，OS可以包含多个API。OS的API允许在OS上运行的应用访问由该OS所提供的服务。
如在上文中已经描述的，触摸屏204允许UT 200的用户通过直接操纵来与在触摸屏上所显示的GUI进行交互，例如，用户可以触摸在触摸屏上显示的图形图标。对手势或触摸进行检测可以宽泛地由两个阶段组成：(i)对关于触摸和/或手势的数据进行采集；以及(ii)对该数据进行解译以确定其是否满足任何所支持的触摸或手势的标准。关于第一阶段，当用户将一个或多个手指置于触摸屏的区域上时，OS生成包含有关交互的信息(例如，触摸的坐标，所施加的压力，大小、时间等)的触摸事件。如果用户描绘手势，则将生成触摸事件的序列以提供每个交互的细节。
OS接着通过经由API 228向通信客户端提供一组触摸事件而向通信客户端通知所检测到的手势。通信客户端接着可以使用由事件所提供的数据来确定是否已经描绘了感兴趣的手势。通信客户端可以能够识别出每个都与具体的操作相关联的一组感兴趣手势。可以由通信客户端的开发者来确定与每个手势相关联的操作。就所述的一组手势及其相关联的操作可以由开发者来定义的意义而言，所述手势可以是“自定义”手势。可以将这样的一组手势存储在客户端应用的手势库232中。每当在应用处接收到事件或一组事件，客户端应用都可以使用手势库来尝试识别该手势。应用可以通过使用手势检测模块230来这样做。
在一个实施例中，当接收到事件时，客户端应用通过向检测模块230发送事件信息而尝试识别该手势。接着，检测模块230可以访问手势库232以将所检测到的手势与存储在库中的一组手势进行比较。例如，检测模块可以针对每个所存储的手势来计算得分或量度。具有最高得分的所检测到的手势可以被识别为所存储的手势。
如果所检测到手势被识别为来自手势库中的手势，则检测模块230通知控制模块234已经识别了手势。接着，控制模块234使得与该手势相关联的操作被执行。
在上文中所描述的实施例中，客户端应用220通过使用手势库来识别在触摸屏上所描绘的手势。在可替代的实施例中，应用不包含手势库。在该可替代的实施例中，客户端应用通过处理事件信息来尝试识别所检测到的手势。
以与在上文中所描述的用户终端102相同的方式来实现用户终端108，其中，用户终端108可以具有与在本文中关于用户终端102所描述的那些元件相对应的元件。
在一些实施例中，通信客户端112执行所要求的处理，以便使用户终端102参与到通过通信系统发送并接收视频数据的通信事件(例如，视频通话或会议通话)中。在该实施例中，I/O层22从相机206和相机208中的至少一个中接收未经编码的视频数据，并且对所述数据进行编码以用于传输至通信系统100中的其它用户终端。I/O还可以从麦克风212中接收与视频数据相关联的未经编码的音频数据，例如来自用户终端的用户的语音数据。
在这样的通信事件期间，客户端用户界面层226可以向用户终端的用户呈现有关该通信事件的信息。例如，可以将通过通信网络而从参与该通信事件的其它用户设备中所接收的视频数据显示在触摸屏204上。可替代地或另外地，可以将信息呈现给用户以控制用户对通信事件的参与。例如，可以显示允许用户结束通话、控制从用户终端所输出的音频数据的音量等的图形图标。
图3仅仅作为示例示出了根据本公开实施例的在视频通话的期间在用户终端的触摸屏204上所显示的图形用户界面。
在触摸屏204上显示了主要窗口302，其显示了在用户终端200处所接收到的来自参与视频通话的远程用户终端的视频数据。通知栏306沿着触摸屏的上边缘显示。通知栏可以用于在该通信事件期间将关于用户设备的某些信息始终保持对用户可见。例如，该通知栏可以显示包含有关例如日期、时间、用户终端的电池水平、以及用户终端当前所经受的信号强度的信息的图标。
由用户终端的OS来控制为通知栏所保留的显示器屏幕中的区域。通过该方式，通知栏可以独立于通信客户端112或者独立于在用户终端上运行的任何应用而在显示器屏幕上显示。
应当理解的是，通知栏沿着显示器上边缘的位置仅仅是出于说明的目的，并且通知栏可以位于触摸屏的任何区域。可替代地，触摸屏可以根本不显示通知栏。
触摸屏上还显示了次要窗口304，其向终端200的用户显示被发送至与所述用户进行通信的远程用户的视频数据。即，该次要窗口显示通过用户终端200的相机206或相机208中的一个所捕获的当前正被传输至远程终端的视频数据。次要窗口可以用于增强视频通话的质量。例如，通过观看正在被传输的视频数据，用户可以进行调节以确保远程用户正在接收合适的图像数据，例如，通过调节用户终端的位置或者通过使他自身位于关于用户终端更加合适的位置。
应当理解的是，对于“主要”窗口和“次要”窗口的提及与这些窗口关于彼此的相对大小无关，而是仅仅用来指示在每个窗口中显示什么样的视频数据。
在可替代实施例中，触摸屏204上不显示有次要窗口304，而仅仅在触摸屏204上显示通过通信网络从远程设备中所接收到的视频数据。
如在上文中已经解释的，用户终端可以装备有位于用户终端上的不同位置处的两个相机206和208。例如，一个相机(例如，相机206)可以位于具有触摸屏的用户终端的前侧，而另一个相机(例如，相机208)可以位于相反的用户终端的后侧。用户终端200将在视频通话期间在某时刻通过这些相机中的一个相机来捕获图像数据，以用于传输至远程设备。
用户可以希望在视频通话进行的同时对用于捕获视频数据的相机进行切换。例如，终端200的用户可以希望从正在用于传输用户的视频数据的前方相机切换至后方相机，该后方相机例如可以用于捕获用户周边的视频数据。
根据本公开的实施例，终端200的用户可以通过在触摸屏204的一个区域上描绘图案而改变用来捕获所传输的视频数据的相机。
例如，考虑将来自相机206的图像数据作为视频通话的一部分而传输至远程用户的情况。如果用户在触摸屏上描绘图案，则OS生成包含有关所描绘的图案的信息的一组触摸事件。接着，将所述一组触摸事件提供至通信客户端。通信客户端可以被配置为将一个或多个手势与在用来捕获所传输的视频数据的相机之间进行切换(toggling)的操作相关联。为了清楚起见，可以将这样的手势称为“切换相机”手势。“切换相机”手势可以是由开发者所定义的自定义手势。
通信客户端的手势检测模块230可以将来自触摸事件的、定义所描绘的手势的信息与存储在定义可识别手势的手势库中的信息进行比较。如果来自手势库中的手势被识别，则通知控制模块234。如果控制模块确定所识别的手势是“切换相机”手势，则其使得用于将向客户端应用的未经编码的视频数据的提供从相机206切换至相机208的操作被执行。接着，将从相机208所捕获的视频数据作为视频通话的一部分而传输至远程用户。
因此，根据本实施例，用户终端的用户可以通过在用户终端的触摸屏上描绘手势而切换用来捕获图像数据作为视频通话的一部分的相机。这可以允许用户在视频通话期间快速并容易地切换相机，而不必例如浏览GUI的多个菜单或者查找特定的图形图标，这两种方式都要求专注并且使得用户的注意力远离他/她正在参与的视频通话。
在一些实施例中，用户可以通过在触摸屏204上的任何位置处描绘图案来实行相机的改变。在其它实施例中，可以必须在触摸屏204的某个子区域内描绘图案以实行相机的改变。触摸屏的其它区域可以被定义为排除区域，其中用户的描绘并不会引起用来捕获视频数据的相机的切换。例如，如果GUI包括通知栏306，则这可以是排除区域。
如果通知栏是排除区域，则OS可以被配置为防止在该区域中所描绘的任何“切换相机”手势使得通信客户端切换用来捕获视频数据的相机。例如，OS可以根据触摸事件来确定已经在通知栏的区域中描绘了手势。OS可以确定这是排除区域，并且丢弃该触摸事件而并不将它们发送至通信客户端。
通信客户端自身也可以针对其自身的显示空间而遵循类似的方式，以便将在GUI上所显示的应用的某些区域从手势检测中排除。例如，如果在视频通话期间在触摸屏上显示的GUI包括如在图3中所示的主要窗口302和次要窗口304，则子区域可以是由主要窗口所覆盖的区域，而由次要窗口所覆盖的区域可以是排除区域。通信客户端(而不是OS)具有对其自身的显示空间的排除区域的边界的控制。即，针对在这些区域中所描绘的手势，OS将向通信客户端发送触摸事件。接着，客户端将对这些事件进行处理并确定手势是在该显示空间的排除区域内描绘的，并且因此不执行相关联的操作。
尽管已经利用作为排除区域的次要窗口302对以上的实施例进行了描述，但是应当理解的是，这仅仅是出于说明的目的的。可以由开发者来自由选择客户端显示空间的排除区域(如果有的话)。
如果在触摸屏204上所显示的GUI包括显示当前被传输至远程客户端的视频数据的次要窗口，则用来捕获视频数据的相机的改变可以引起在次要窗口中所显示的视频数据的对应的改变。例如，通信客户端的I/O层222可以被配置为从相机206或208中的一个中接收视频数据以用于传输至远程设备，并且客户端UI层226可以被配置为使得视频数据将被显示在次要窗口304中。接着，用来捕获视频数据的相机的改变(例如，如以上所描述的由OS和通信客户端所引起)会使得来自新的相机的视频数据被提供至I/O层并且因此在次要窗口304中被显示。
尽管在上述实施中，相机206和相机208分别位于用户终端的前方表面和后方表面上，但是应当理解的是，相机可以位于用户终端上的任何合适的位置，例如相机可以位于用户终端的相同的表面上。
在另一个实施例中，用户终端可以具有多于一个的麦克风，例如可以有与用户终端的每个相机相关联的麦克风。在该实施例中，在检测到已经在触摸屏的区域上描绘了有关所存储的信息的图案之后，通信客户端可以被配置为对麦克风进行控制，以便从与新切换的相机相关联的麦克风向客户端应用提供音频数据。
在另一个实施例中，使得终端相机被切换的一种或多种图案中的每一种都要求多于一个的运动向量以便进行描绘。即，一种或多种可识别的图案中的每一种都跨触摸屏204的平面中的二维空间。
例如，一种或多种图案可以包括以下中的至少一种：圆形、弧形、三角形、字母“S”、正方形、交叉等。
在另一个实施例中，一种或多种图案中的每一种都包括一系列的至少两个手势，其中该系列中的每个手势都具有不同于该系列中的之前的手势的运动向量。这样的手势的示例可以是例如三角形、正方形、或者表示字母“Z”的Z字形手势。可替代地或另外地，由用户所描绘的连续曲线可以被解译为单个手势。应当注意的是，虽然图案可以包括一系列的手势，但是其可以在用户的描绘实现(例如，手指或触摸笔)不离开屏幕表面的情况下被描绘。即，一系列的手势可以由用户以连续的方式来描绘。
相比于例如可以通过触摸图形图标来切换相机的情况，通过要求所描绘的图案跨二位空间和/或是具有不同的运动向量的一系列的手势，终端200的用户不太可能通过意外地触摸到触摸屏而切换相机。这是因为跨二维的和/或作为具有不同运动向量的一系列的手势的图案要求用户做出更为刻意的动作而不太可能意外地执行。
另外，要求图案包括一系列的至少两个手势(其中该系列中的每个手势具有不同于该系列中的之前手势的运动向量)在用户所描绘的图案的形式方面允许更大的容差(tolerance)。在该实施例中，手势库不存储图案的几何形式，而是存储有关图案的信息。例如，所述信息可以包括由用户所描绘的图案所必须满足的一组条件。在该示例中，所述条件可以是(i)包括一系列的至少两个手势的图案，并且(ii)该系列中的每个手势都具有不同于该系列中的之前手势的运动向量。在可替代实施例中，可以有额外的要求：该系列中的第一手势和第三手势相互平行。该可替代的实施例将预先确定图案限制为Z字形图案。
通过在手势库中存储包括表征手势的一组条件的信息，可以增加所描绘的手势的容差。例如，已知所描绘的图案满足表征可识别的手势的条件的情况下，手势在屏幕上的什么地方被描绘，手势的大小、或者手势的相对几何比例都不重要。增加可描绘的手势的容差允许用户利用最少的精力或思考来描绘可识别的手势，这降低了用户从手头的任务(例如，进行视频通话)的分心。
在可替代实施例中，所存储的信息可以描述至少一种图案的模板。从触摸屏控制器中所接收的信息可以用来将由用户所描绘的图案与模板图案进行比较。如果所描绘的图案与模板在某一容差内相匹配，则可以将所描绘图案识别为模板图案中的一种。
如果所存储的信息包括一组条件，则所提供的来自触摸屏控制器的信息可以与所存储的信息一起使用以确定用户已经描绘了可识别的图案。即，由用户所描绘图案的确切形式不重要，只要所描绘图案满足所存储的信息中的一组条件即可。这可以意味着对由用户所描绘的预先确定的图案的大小或相对形状没有要求，这意味着用户可以快速并且利用关于所描绘的确切图案的最少精力和思考来描绘预先确定图案。这还可以意味着所描绘图案可以被识别，而无论其在屏幕上的朝向如何。这可以允许用户无论在显示器屏幕的朝向的情况下都对图案进行描绘，例如如果用户终端是智能电话，则无论该智能电话是竖直朝向还是水平朝向，都可以在其显示器屏幕上描绘图案。
图4示出了在用户终端的触摸屏404上所显示的示例性GUI。出于说明的目的，该GUI仅包含主要窗口404，尽管在其它实施例中，该GUI可以如在上文中所描述的那样包含次要窗口和/或控制栏。
在GUI上描绘了两个“Z字形”图案402和406，它们表示由用户终端的用户所描绘的图案的两个可能的示例。尽管每种图案的大小和相对比例都不同，但是这两种图案都可以由手势检测模块所识别，并且因此可以由终端的用户所描绘以切换用来捕获作为视频通话的一部分的视频数据的相机。
在实施例中，在手势库中所存储的信息可以包含与可识别的图案中的至少两个手势的相对运动向量有关的一组规则。在图案是Z字形的实施例中，所述规则可以与组成该Z字形图案的三个手势的相对运动向量有关。
例如，图案402包括一系列的手势402A、402B和402C，其中手势402B具有不同于手势402A的运动向量，并且手势402C具有不同于手势402B的运动向量。该系列中的手势是以什么顺序被描绘的不重要，例如该手势能够以402A、402B接着是402C的顺序被描绘。可替代地，该手势可以以402C、402B接着是402A的顺序被描绘。类似地，图案406包括一系列的手势406A-C。如果用户描绘了图案402，则用户终端可以确定手势402A与手势402B之间的相对运动、以及手势402B与手势402C之间的相对运动是否满足手势库中所存储的关于手势之间的相对运动的规则。同样，如果用户描绘了图案406，则用户终端能够确定手势406A和手势406B之间以及手势406B和手势406C之间的相对运动是否满足所存储的规则。例如，手势库可以存储指定了手势之间的最大和/或最小方向改变的规则。如果所描绘的图案包括落入由这些规则所设定的界限之内的手势，则检测模块将所描绘的图案识别为有关Z字形的图案。可替代地，所存储的信息可以有关模板图案并且指定容差，其中所描绘的图案必须落入该容差内以被识别为模板图案。例如，模板图案可以是Z字形手势，并且所存储的信息可以指定大小或相对运动的容差。
使得可识别的图案是Z字形图案可以降低终端的用户意外地描绘该图案的可能性。其还可以允许用户描绘仅仅使用1只手或1个手指的图案，其允许用户相对容易地并且利用最少的精力来描绘图案。另外，Z字形对于用户而言是在触摸屏上描绘的自然的图案，并且因此可以允许用户以最少的不适或者对他们可以正在执行的其它任务(例如，参与视频通话)的最少的中断来描绘该图案。
尽管在上文的实施例已经描述了用户终端的用户描绘预先确定的图案以实现用来捕获作为视频通话的一部分的视频数据的相机的改变，但应当理解的是，在其它实施例中，用户可以描绘预先确定的图案来实现另一个动作，例如，结束通信事件或者浏览GUI。
例如，在可替代实施例中，预先确定的图案可以是一系列的手势，其中该系列中的每个手势具有不同于该系列中的之前的手势的运动向量，例如，上文中所描述的Z字形图案。在检测到预先确定的图案在触摸屏的一个区域上被描绘之后，用户终端可以被配置为执行任何合适的动作。例如，用户可以描绘Z字形手势来结束通信事件(例如，视频通话)。可替代地，用户可以描绘Z字形模型以禁用触摸屏，使得在屏幕上所描绘的进一步的图案不产生效果。接着，用户可以在屏幕上描绘进一步的Z字形图案以启用触摸屏。在这些实施例中，可以以如在上文中所描述的方式来检测Z字形图案。即，预先确定的图案是通过满足某些条件来检测的，而不是用户必须在屏幕中的某些区域上描绘该图案。
通常，可以使用软件、固件、硬件(例如，固定逻辑电路)或这些实现的组合来实现在本文中所描述的功能中的任何一个功能。如在本文中所使用的术语“模块”、“功能”、“组件”和“逻辑”通常表示软件、固件、硬件、或其组合。在软件实现的情况下，模块、功能、或逻辑表示在处理器(例如，微处理器、一个或多个CPU)上被执行时执行指定的任务的程序代码。可以将该程序代码存储在一个或多个计算机可读存储器设备中。在下文中所描述的技术的特征是不依赖平台的，这意味着该技术可以在具有多种处理器的多种商业计算平台上实现。
例如，用户设备还可以包括使得用户设备的硬件执行操作(例如，处理器功能块等)的实体(例如，软件)。例如，用户设备可以包括计算机可读介质，其可以被配置为保存使得用户设备执行操作的指令。因此，所述指令用于配置操作系统和相关联的硬件以执行操作，并且以这样的方式使得操作系统的变换和相关联的硬件来执行功能。可以由计算机可读介质通过多种不同的配置将指令提供至用户设备。
计算机可读介质的一种这样的配置是信号承载介质，并且因此被配置为将指令(例如，作为载波)传输至计算设备，例如，经由网络。计算机可读介质还可以被配置为计算机可读存储介质，并且因此不是信号承载介质。计算机可读存储介质的示例包括随机存取存储器(RAM)、只读存储器(ROM)、光盘、闪速存储器、硬盘存储器、以及可以使用磁、光、和其它技术来存储指令和其它数据的其它存储器设备。
尽管已经用特定于结构特征和/或方法行为的语言描述了本主题，但应当理解的是，在所附权利要求中所定义的主题非必须限于在上文中所描述的具体的特征或行为。相反，在上文中所描述的具体的特征或行为是作为实现所述权利要求的示例形式而公开的。

Claims (10)

1.一种用户终端，包括：
网络接口；
触摸屏，其被配置为接收由用户所描绘的图案；
第一相机，其被配置为捕获图像，其中所述用户终端被配置为将所捕获的图像作为视频通话的一部分从所述第一相机经由所述网络接口传输至至少一个另外的用户终端；
第二相机；
存储器，其被配置为存储有关至少一种图案的信息；
检测模块，其被配置为使用所存储的信息来检测在所述用户终端的所述触摸屏的区域上所描绘的所述至少一种图案中的一种，所述检测至少包括确定在构成所接收的图案的一系列手势中的每个手势是否具有与所述系列中的先前手势不同的运动向量；以及
控制模块，其被配置为响应于由所述检测模块的检测，而从所述第一相机切换至所述第二相机以便使用所述第二相机来捕获图像，所述控制模块使得从所述第二相机所捕获图像经由所述网络接口而传输至所述至少一个另外的用户设备。
2.根据权利要求1所述的用户终端，其中，所述至少一种图案中的所述一种包括一系列的至少两个手势，其中该系列中的每个手势都具有不同的运动向量。
3.根据权利要求1所述的用户终端，其中，所述至少一种图案中的所述一种是独立于以下信息而被检测的：所述手势被描绘的所述触摸屏上的位置、所描绘的手势的大小、以及所描绘的手势的朝向。
4.根据权利要求1所述的用户终端，其中，有关至少一种图案的所述信息包括表征Z字形图案的条件。
5.根据权利要求4所述的用户终端，其中：
表征所述Z字形图案的所述条件包括由用户所描绘的、包含一系列的三个手势的图案，其中，该系列的三个手势中的每个手势都具有不同的运动向量；并且
所述检测模块被配置为在由用户所描绘的图案满足所述条件的情况下检测所述至少一种图案中的一种。
6.根据权利要求1所述的用户终端，其中，所述用户终端被配置为：
经由所述网络接口而从所述至少一个另外的用户设备中接收作为所述视频通话的一部分的视频数据；
在所述触摸屏的第一区域上显示从所述第一相机或所述第二相机所捕获的图像；并且
在所述触摸屏的第二区域上显示所接收到的视频数据；
其中，所述检测模块被配置为检测在所述触摸屏的所述第二区域中所描绘的图案，并且其中，在所述触摸屏的所述第一区域中所描绘的图案不被检测。
7.根据权利要求2所述的用户终端，其中，所述所存储的信息包括有关所述至少两个手势的相对运动向量的规则，并且其中，所述检测模块被配置为检测所述至少一种图案中的一种以确定由用户所描绘的图案是否在有关所述至少两个手势的相对运动向量的所述规则内。
8.根据权利要求7所述的用户终端，其中，所述至少一种图案可以被检测而无论在触摸屏上所描绘的图案的相对比例。
9.一种用于存储代码的计算机可读存储存储器，所述代码用于在用户设备与至少一个另外的设备之间的视频通话期间切换所述用户设备的第一相机和第二相机，当所述代码在用户设备的处理器上被执行时，被配置为：
使用所述用户设备的所述第一相机来捕获图像，并且将所捕获的图像从所述第一相机传输至所述至少一个另外的用户设备；
将有关至少一种图案的信息存储在所述用户设备的存储器中；
使用所存储的信息来检测在所述用户设备的触摸屏的区域上描绘的所述至少一种图案中的一种，所存储的信息至少包括指定构成所述至少一种图案中的所述一种的手势之间的最大和最小方向改变的规则集合；并且
响应于所述检测，从所述用户设备的所述第一相机切换至所述用户设备的所述第二相机以便使用所述第二相机捕获图像，并且将从所述第二相机所捕获图像传输至所述至少一个另外的用户设备。
10.一种检测在用户设备的显示器上所描绘的图案的方法，所述方法包括：
接收与由用户在所述用户设备的所述显示器上所描绘的图案有关的信息；
根据所接收到的信息来确定由用户所描绘的图案是否包括一系列的三个手势；
根据所接收到的信息来确定该系列中的每个手势是否具有不同的运动向量以及所述运动向量的相对运动；并且
在所述所描绘的图案包括一系列的三个手势并且所述三个手势的相对运动向量在存储器中所存储的表征Z字形的规则内的情况下，确定已经在所述用户设备的所述显示器上描绘了预先确定的图案，而无论所述所描绘的图案的位置、大小和朝向。
CN201580006462.7A 2014-01-29 2015-01-23 检测在用户设备的屏幕上描绘的图案 Active CN105940672B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/167,790 2014-01-29
US14/167,790 US9282283B2 (en) 2014-01-29 2014-01-29 Detecting patterns traced on a screen of a user device
PCT/US2015/012552 WO2015116476A1 (en) 2014-01-29 2015-01-23 Detecting patterns traced on a screen of a user device

Publications (2)

Publication Number Publication Date
CN105940672A CN105940672A (zh) 2016-09-14
CN105940672B true CN105940672B (zh) 2019-08-27

Family

ID=52484549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580006462.7A Active CN105940672B (zh) 2014-01-29 2015-01-23 检测在用户设备的屏幕上描绘的图案

Country Status (4)

Country Link
US (1) US9282283B2 (zh)
EP (1) EP3080984A1 (zh)
CN (1) CN105940672B (zh)
WO (1) WO2015116476A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2961209A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device for pairing devices
JP6343194B2 (ja) * 2014-07-08 2018-06-13 キヤノン株式会社 通信装置およびその制御方法、並びにプログラム
CN104182173A (zh) * 2014-08-15 2014-12-03 小米科技有限责任公司 一种切换摄像头的方法和装置
KR20170006559A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
CN110278401A (zh) * 2018-03-16 2019-09-24 优酷网络技术（北京）有限公司 视频通话方法及装置
US10725629B2 (en) * 2018-06-25 2020-07-28 Google Llc Identifying and controlling smart devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521696A (zh) * 2009-04-08 2009-09-02 候万春 一种能够选择与切换前后摄像头的移动电话终端
CN103294402A (zh) * 2013-06-20 2013-09-11 青岛海信移动通信技术股份有限公司 智能终端的应用界面切换方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8169421B2 (en) 2006-06-19 2012-05-01 Cypress Semiconductor Corporation Apparatus and method for detecting a touch-sensor pad gesture
CN102231802A (zh) * 2009-10-14 2011-11-02 鸿富锦精密工业（深圳）有限公司 摄影机切换系统及方法
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
US8941706B2 (en) 2010-04-07 2015-01-27 Apple Inc. Image processing for a dual camera mobile device
US20120281129A1 (en) 2011-05-06 2012-11-08 Nokia Corporation Camera control
US20120304132A1 (en) 2011-05-27 2012-11-29 Chaitanya Dev Sareen Switching back to a previously-interacted-with application
EP2575362A1 (en) 2011-09-28 2013-04-03 ST-Ericsson SA Multimodal mobile video telephony
US10684768B2 (en) * 2011-10-14 2020-06-16 Autodesk, Inc. Enhanced target selection for a touch-based input enabled user interface
US9241131B2 (en) * 2012-06-08 2016-01-19 Samsung Electronics Co., Ltd. Multiple channel communication using multiple cameras
US9325889B2 (en) * 2012-06-08 2016-04-26 Samsung Electronics Co., Ltd. Continuous video capture during switch between video capture devices
US9619037B2 (en) * 2012-07-25 2017-04-11 Facebook, Inc. Custom gestures
TWI537813B (zh) * 2013-01-25 2016-06-11 宏達國際電子股份有限公司 電子裝置及其照相機切換方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521696A (zh) * 2009-04-08 2009-09-02 候万春 一种能够选择与切换前后摄像头的移动电话终端
CN103294402A (zh) * 2013-06-20 2013-09-11 青岛海信移动通信技术股份有限公司 智能终端的应用界面切换方法及装置

Also Published As

Publication number Publication date
EP3080984A1 (en) 2016-10-19
WO2015116476A1 (en) 2015-08-06
US20150215576A1 (en) 2015-07-30
US9282283B2 (en) 2016-03-08
CN105940672A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105940672B (zh) 检测在用户设备的屏幕上描绘的图案
CN104584513B (zh) 选择用于内容分享操作的装置的设备和方法
CN105980971B (zh) 多任务和全屏幕菜单环境
CN109062467B (zh) 分屏应用切换方法、装置、存储介质和电子设备
CN106020592A (zh) 分屏显示方法及装置
US20150143291A1 (en) System and method for controlling data items displayed on a user interface
KR20160001628A (ko) 폴더블 전자 장치의 인터페이싱 방법 및 그 폴더블 전자 장치
CN105487705B (zh) 移动终端、输入处理方法及用户设备
WO2022001341A1 (zh) 应用程序标签生成方法、应用界面显示方法以及装置
CN109743464A (zh) 桌面背景显示方法、移动终端及计算机可读存储介质
CN109213396A (zh) 一种对象控制方法及终端
CN107241492B (zh) 一种动态信息显示方法、设备及计算机可读存储介质
CN107885448B (zh) 应用触摸操作的控制方法、移动终端及可读存储介质
WO2020007114A1 (zh) 分屏应用切换方法、装置、存储介质和电子设备
CN107992263A (zh) 一种信息分享方法及移动终端
WO2020007144A1 (zh) 分屏应用切换方法、装置、存储介质及电子设备
CN107577415A (zh) 触摸操作响应方法及装置
CN107608550A (zh) 触摸操作响应方法及装置
CN110308834A (zh) 应用图标显示方式的设置方法及终端
EP3036965A1 (en) Causation of stylistic mimicry on a companion apparatus
CN110351424A (zh) 手势交互方法和终端
CN108829444A (zh) 一种自动关闭后台应用的方法、终端和计算机存储介质
CN114153344A (zh) 群组创建方法、装置、电子设备及存储介质
CN108536388A (zh) 分屏处理方法、装置、存储介质和电子设备
CN110825475A (zh) 一种输入方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant