CN107589864B - 多点触摸显示面板及其控制方法和系统 - Google Patents

多点触摸显示面板及其控制方法和系统 Download PDF

Info

Publication number
CN107589864B
CN107589864B CN201710552196.9A CN201710552196A CN107589864B CN 107589864 B CN107589864 B CN 107589864B CN 201710552196 A CN201710552196 A CN 201710552196A CN 107589864 B CN107589864 B CN 107589864B
Authority
CN
China
Prior art keywords
touch
sub
display
display panel
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710552196.9A
Other languages
English (en)
Other versions
CN107589864A (zh
Inventor
张逸炜
李章焕
鲁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN107589864A publication Critical patent/CN107589864A/zh
Application granted granted Critical
Publication of CN107589864B publication Critical patent/CN107589864B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了多点触摸显示面板及其控制方法和系统。该多点触摸显示面板包括：第一显示面板，被配置为根据图像数据显示图像；多点触摸面板，被设置在第一显示面板上方并且被配置为生成触摸数据；以及通信模块，被配置为与远程设备通信。该远程设备包括第二显示面板和触摸屏，并且该通信模块进一步被配置为从远程设备接收图像数据，并且将触摸数据提供至远程设备。

Description

多点触摸显示面板及其控制方法和系统
相关申请的交叉引用
本发明专利申请要求2016年7月7日提交的标题为“多点触摸控制系统”的美国临时专利申请第62/359,665号的优先权和权益，其全部内容通过引用并入本文。
技术领域
本发明的示例实施例的方面涉及多点触摸显示面板，控制多点触摸显示面板的方法、以及根据方法操作的多点触摸显示面板。
背景技术
存在允许用户与计算机系统交互的多种输入设备。在早期的计算机系统中，输入设备包括打孔卡和/或键盘。
随着计算机图形用户界面的出现，二维图形屏幕(例如，桌面)被呈现给用户，传统键盘不足以作为输入设备。其后，计算机鼠标设备(例如，计算机滑鼠或鼠标)成为流行的输入设备，允许用户与所连接计算机系统的图形用户界面交互并操作该图形用户界面。利用计算机鼠标，用户能够例如通过打开程序、关闭程序以及与程序交互并且移动在图形用户界面上显示的程序窗口和调整其尺寸来操纵图形用户界面。
近来，特别是由于诸如智能电话等的移动设备的普及，触摸面板(例如，触摸屏或触摸屏面板)已经成为流行的输入设备。与作为诸如计算机鼠标的外部输入设备不同，触摸面板是屏幕、面板、膜或层，其定位在显示面板上并将触摸事件(诸如在设备和触摸面板之间的接触或近距离接触，设备诸如触控笔和/或人的手指)转换为坐标以被解释为所连接计算机系统的输入。组合(或耦合在一起)的显示面板和触摸面板可称为触摸显示面板。因此，触摸显示面板允许用户通过使用例如他们的手指从人体工程学上和直观上与计算机系统交互。
最近，已经开发了能够同时(例如，同步)检测并解释多触点的触摸事件(例如，触摸)的多点触摸面板。不同于计算机系统如何响应于单个触摸事件(例如，单个接触点触摸事件)，多点触摸面板例如通过将计算机系统编程为响应于特定多点触摸事件(例如，诸如手指的多个接触点被同时检测的触摸事件)来增加用户与所连接计算机系统交互的能力。一些多点触摸事件可包括例如使用两个手指彼此相向移动或远离移动以分别减少或增加窗口的尺寸来调整显示窗口(诸如图片)的尺寸。一些多点触摸事件可称为手势。
进一步，多点触摸显示面板，即显示面板和多点触摸面板的组合(或耦合在一起)，最近已将尺寸提高得足够大以供多人同时(或同步)使用。
发明内容
本公开针对一种多点触摸显示面板、控制该多点触摸显示面板的方法、以及包括根据该方法操作的多点触摸显示面板的系统的各种实施例。
根据本发明实施例，一种多点触摸显示面板包括：第一显示面板，被配置为根据图像数据显示图像；多点触摸面板，被设置在第一显示面板上方并且被配置为生成触摸数据；通信模块，被配置为与远程设备通信；以及控制器，连接至多点触摸面板和通信模块。该图像包括子显示表面，并且该远程设备包括第二显示面板和触摸屏。该通信模块被配置为从远程设备接收用于子显示表面的图像数据，并且将所生成的触摸数据提供至远程设备。该控制器被配置为当所生成的触摸数据落入子显示表面内时，经由通信模块将所生成的触摸数据传送至远程设备，并且当所生成的触摸数据落在子显示表面外部时，不将所生成的触摸数据传送至远程设备。
该通信模块可进一步被配置为与多个远程设备相通信，并且远程设备中的至少一个远程设备可包括第二显示面板和触摸屏。
该图像可包括多个子显示表面，并且多个子显示表面中的相应子显示表面与从远程设备中的相应多个远程设备接收的图像数据对应。
用于多个子显示表面中的至少一个子显示表面的所接收的图像数据可被调整尺寸以显示在所述第一显示面板上。
查找表可存储在控制器中，并且该查找表可保持子显示表面相对于第一显示面板的位置的数据。
该控制器可进一步被配置为确定所生成的触摸数据位于多个子显示表面中的哪一个子显示表面处，基于所生成的触摸数据在所述多个子显示表面中的对应一个子显示表面内的位置而生成子显示触摸事件，并且经由通信模块将子显示触摸事件发送至与多个子显示表面中的一个子显示表面对应的远程设备。
根据本发明的另一实施例，提供了一种控制多点触摸显示面板的方法。该多点触摸显示面板包括第一显示面板和多点触摸面板，并且被配置为与多个远程设备相通信。多个远程设备中的至少一个远程设备包括第二显示面板和多点触摸屏。该方法包括：从远程设备接收显示数据；在多点触摸显示面板的第一显示面板上将所接收的显示数据显示为离散的多个子显示表面；扫描多点触摸显示面板的多点触摸面板以检测触摸事件；当检测到触摸事件时，确定触摸事件关于多个子显示表面的位置；以及当触摸事件的位置在子显示表面中的一个子显示表面内时，根据一个子显示表面生成子显示触摸事件并且将子显示触摸事件发送至与一个子显示表面对应的远程设备。
所接收的显示数据可显示在对应的远程设备的第二显示面板上。
所生成的子显示触摸事件可包括：将触摸事件在多点触摸显示面板的多点触摸面板上的位置与一个子显示表面在多点触摸显示面板的第一显示面板上的位置进行比较；以及根据触摸事件的一个子显示表面上的位置创建包括触摸事件的位置数据的虚设触摸事件。
当触摸事件在多个子显示表面中的一个子显示表面的边缘处时，根据触摸事件旋转在多点触摸显示面板上的一个子显示表面，或者根据触摸事件调整在多点触摸显示面板上的一个子显示表面的大小。
当触摸事件包括在一个子显示表面内的五个接触点时，根据触摸事件移动在多点触摸显示面板上的一个子显示表面。
当触摸事件在多个子显示表面中的一个子显示表面内并且包括少于五个接触点时，生成子显示触摸事件并且将子显示触摸事件发送至与一个子显示表面对应的远程设备。
当触摸事件包括两个至四个之间的接触点时，确定触摸事件是否是多点触摸事件，并且当触摸事件是多点触摸事件时，根据一个子显示表面重建多点触摸事件，并且将所重建的多点触摸事件发送至与一个子显示表面对应的远程设备。
该方法可进一步包括：从多个远程设备接收更新后的显示数据；以及将多点触摸显示面板的第一显示面板上显示的多个子显示表面更新为离散的子显示表面。
根据本发明的另一实施例，一种系统包括根据控制多点触摸显示面板的方法操作的多点触摸显示面板。该多点触摸显示面板包括第一显示面板，被配置为根据显示数据显示图像；多点触摸面板被设置在第一显示面板上方并且被配置为生成触摸数据；以及通信模块，被配置为与包括第二显示面板和触摸屏的远程设备通信。该通信模块进一步被配置为将显示数据提供至第一显示面板并且将触摸数据提供至远程设备。该方法包括：从远程设备接收显示数据；在多点触摸显示面板的第一显示面板上将所接收的显示数据显示为子显示表面；扫描多点触摸面板以检测触摸事件；当检测到触摸事件时，确定触摸事件关于子显示表面的位置；以及当触摸事件的位置在子显示表面内时，经由通信模块将触摸事件发送至远程设备。
该通信模块可被配置为与多个远程设备通信，并且显示所接收的显示数据可包括，将从多个远程设备中的每一个远程设备接收的显示数据显示为离散的多个子显示表面。
该方法可进一步包括：当触摸事件在多个子显示表面中的一个子显示表面的边缘处时，根据触摸事件旋转多个子显示表面中的一个子显示表面或调整多个子显示表面中的一个子显示表面的尺寸。
该方法可进一步包括：当触摸事件在多个子显示表面中的一个子显示表面内并且包括少于五个接触点时，将触摸事件发送至与多个子显示表面中的一个子显示表面对应的远程设备。
该方法可进一步包括：当触摸事件在多个子显示表面中的一个子显示表面内并且包括至少五个接触点时，在多点触摸显示面板的第一显示面板上移动多个子显示表面中的一个子显示表面。
该方法可进一步包括：当触摸事件从子显示表面内部到子显示表面外部移动时，生成虚设非活动信号，虚设非活动信号被配置为使远程设备上的触摸事件失效；并且将虚设非活动信号发送至远程设备。
以上概述被提供以介绍本公开的示例实施例的特征和构思的选择，其在如下详细说明书中进一步描述。该概述不旨在标识要求保护的主题的关键或必要特征，也不旨在用于限制要求保护的主题的范围。根据一个或多个示例实施例的一个或多个描述的特征可与根据一个或多个示例性实施例的一个或多个其他描述的特征组合以提供可使用的设备。
附图说明
图1示出根据本发明实施例的使用多点触摸显示面板的两个人；
图2示出图1中所示的、显示示例性图像的多点触摸显示面板的多点触摸显示表面；
图3示出图2中所示的显示另一示例性图像的多点触摸显示表面；
图4示出图2中所示的显示另一示例性图像的多点触摸显示表面；
图5是根据本发明实施例的图1中所示的多点触摸显示面板的示意图；
图6是图示根据本发明实施例的控制多点触摸显示面板的方法的流程图；
图7是图示根据本发明的另一实施例的控制多点触摸显示面板的方法的流程图；以及
图8是图示图7中所图示的方法的子例程的流程图。
具体实施方式
本公开针对多点触摸显示面板、控制多点触摸显示面板的方法、以及包括根据该方法操作的多点触摸显示面板的系统的各种示例实施例。在一个示例实施例中，多点触摸显示面板连接至多个远程设备，远程设备中的至少一个包括触摸屏和显示设备。多点触摸显示面板被配置为根据从远程设备接收的显示数据显示多个子显示表面。多点触摸显示面板进一步被配置为当用户与多点触摸显示面板上的各个子显示表面交互时将在多点触摸显示表面上产生的触摸事件发送至远程设备。因此，提供多点触摸显示面板，该多点触摸显示面板允许由一个或多个用户对远程设备的同时的、远程的控制和交互。在其它实施例中，提供控制多点触摸显示面板的方法和包括根据该方法被控制的多点触摸显示面板的系统。
在下文中，将参考附图更详细地描述示例实施例，其中，贯穿全文，相同的附图标记指代相同的元件。然而，本发明还可以以各种不同的形式体现，并且不应当解释为仅限于本文图示的实施例。相反，这些实施例被作为示例提供，以使本公开全面和完整，并且将向本领域技术人员充分传达本发明的方面和特征。因此，对本领域普通技术人员全面理解本发明的方面和特征不必要的过程、元件和技术，可不进行描述。除非另有说明，贯穿附图和书面说明书，相同的附图标记表示相同的元件，并且因此，可不重复其描述。
在附图中，为清晰起见，元件和区域的相对尺寸可被夸大和/或简化。出于易于描述的目的，在本文中使用了诸如“之下”、“下方”、“下”、“下面”、“上方”、“上”等的空间相对术语来描述如图中所图示的一个元件或特征相对于另一个(一些)元件或特征的关系。将理解的是，除了图中描述的方位之外，这些空间相对术语意在包含设备在使用或操作中的不同方位。例如，如果图中设备被翻转，那么被描述为在其它元件或特征“下方”或“之下”或“下面”的元件将被定向为在其它元件或特征的“上方”。因此，示例术语“下方”和“下面”可以包括上方和下方两种方位。设备可被另外定向(例如旋转90度或者在其它方位)，并且本文使用的空间相对描述符应被相应地解释。
将理解的是，虽然术语“第一”、“第二”、“第三”等可在本文中用来描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应该受这些术语的限制。这些术语用来区分一个元件、部件、区域、层或部分与另一个元件、部件、区域、层或部分。因此，下面描述的第一元件、部件、区域、层或部分可以被称作第二元件、部件、区域、层或部分，而不脱离本发明的精神和范围。
将理解的是，当元件或层被称为在另一元件或层“上”、“被连接到”或“被耦接到”另一元件时，它可以直接在另一元件上、被直接连接到或直接耦接到另一元件，或者可以存在一个或多个中间元件。此外，还将理解的是，当元件被称为在两个元件之间时，其可以是两个元件之间的唯一元件，或者还可以存在一个或多个中间元件。
本文所使用的术语是为了描述特定实施例的目的，而不旨在限制本发明。如本文所使用的，单数形式的“一”旨在也包括复数形式，除非上下文另有明确表示。将进一步理解的是，当在说明书中使用时，术语“包括”和/或“包含”及其变体表明存在所陈述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、部件和/或它们的组。也就是说，本文所述的过程、步骤和算法不限于所表示的操作，并且可包括附加操作或可省略一些操作，并且根据一些实施例，可改变操作顺序。如本文所使用的，术语“和/或”包括相关联的所列项目中的一个或多个的任意和所有组合。当放在一列元件之后时，诸如“…中的至少一个”的表述修饰的是整列元件，而不是修饰该列中的单独元件。
如本文所使用的，术语“基本上”、“大约”和类似术语被用作近似的术语，而不是作为程度的术语，并且旨在考虑本领域普通技术人员公认的在测量或计算的值中的固有公差。进一步，当描述本发明实施例时，使用“可以”指的是“本发明的一个或多个实施例”。如本文所使用的，术语“使用”、“正使用”和“被用来”可以被认为分别和术语“利用”、“正利用”和“被利用来”同义。另外，术语“示例”意指示例或图示。
除非另有定义，本文使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员所通常理解的含义相同的含义。将进一步理解，诸如那些在常用字典中定义的术语应该被解释为具有与它们在相关领域和/或本说明书的上下文的含义一致的含义，并且将不以理想化或过于正式的意义来解释，除非本文明确地如此定义。
在本文描述的根据本发明的示例实施例的数据驱动器、通信模块、控制器和/或其他任何相关设备或部件可以利用任何合适的硬件、固件(例如专用集成电路)、软件和/或软件、固件和硬件的适当组合来实现。例如，数据驱动器、通信模块、和/或控制器的各种部件可以被形成在一个集成电路(IC)芯片上或单独的IC芯片上。进一步，数据驱动器、通信模块、和/或控制器的各种部件可以在柔性印刷电路膜、带载封装(TCP)、印刷电路板(PCB)上实现，或者与数据驱动器、通信模块、和/或控制器形成在同一基板上。进一步，数据驱动器、通信模块、和/或控制器的各种部件可以是在一个或多个计算设备中的一个或多个处理器上运行的、执行计算机程序指令并与其它系统部件交互以用于实施本文描述的各种功能的进程或线程。计算机程序指令被存储在可用标准存储设备在计算设备中实现的存储器中，例如随机存取存储器(RAM)。计算机程序指令还可以被存储在其它的非瞬态计算机可读介质中，例如CD-ROM、闪存驱动器等。另外，本领域技术人员应认识到，各种计算设备的功能可以被组合或集成到单个计算设备中，或特定计算设备的功能可以跨一个或多个其它计算设备分布，而不脱离本发明的示例实施例的范围。
图1图示根据本发明实施例的与多点触摸显示面板10交互的两个人。在图1中，多点触摸显示面板10图示为位于柜子中并面向上方，使得用户坐在多点触摸显示面板10的周围来与多点触摸显示面板10交互。然而，本发明不限于此，并且在其它实施例中，多点触摸显示面板10可安装到墙壁和平行于地板的面，使得用户站立和/或坐下来与多点触摸显示面板10交互。
多点触摸显示面板10包括显示图像的显示面板和设置在显示面板上方的多点触摸面板。多点触摸面板被配置为检测和解释与多点触摸面板的接触(或近距离接触)，诸如由设备(例如触控笔)或手指进行的接触。例如，多点触摸面板被配置为检测多个同时(或同步)触摸。
多点触摸面板设置在显示面板上方并可被校准，以使一个或多个用户能够接触多点触摸面板来与由下面的显示面板所显示的图像交互。例如，当显示面板显示包括按钮的图像并且用户在图示按钮的位置处接触多点触摸面板时，多点触摸显示面板10利用所显示按钮的选择来识别并解释用户在该位置处与多点触摸面板的接触并相应地做出响应。
图5是根据本发明实施例的图1中所示的多点触摸显示面板10的示意图。在图5中，根据本发明实施例的多点触摸显示面板10包括在显示面板上方的多点触摸面板上的多点触摸显示表面100、用于驱动多点触摸显示面板10的显示面板的数据驱动器110、用于与远程设备(例如，远程设备200和300)通信(例如，用于向远程设备发送信息和从远程设备中接收信息)的通信模块120，以及用于接收和解释来自多点触摸显示面板10的多点触摸面板的数据、用于将数据发送至通信模块120和/或从通信模块120接收数据、并且用于控制数据驱动器110的控制器130(例如，处理器)。尽管多点触摸显示表面100、数据驱动器110、通信模块120和控制器130被图示为多点触摸显示面板10的分离部件，但本发明不限于此。例如，在一些实施例中，数据驱动器110可与多点触摸显示面板10的显示面板集成，通信模块120可与控制器130集成，控制器130可与多点触摸面板集成等。
通信模块120被配置为与一个或多个远程设备200和300(例如，多点触摸显示面板10外部的设备)通信，并且通信模块120与远程设备200和300之间的通信可以以任何合适的形式(诸如有线连接或无线连接)建立，这些示例包括通用串行总线(“USB”)、WiFi(802.11x)、蓝牙
Figure BDA0001344744640000081
、经由互联网的http连接等，但本发明不限于这些示例。
如以下将进一步描述的，通信模块120可将由多点触摸面板生成并且由控制器130解释的触摸事件发送至远程设备200、300以控制远程设备200、300，并且可接收并在显示面板上显示来自远程设备200、300的显示信息。远程设备200、300可以是包括显示器(例如，显示设备或显示屏幕)和触摸面板的设备。远程设备200、300的示例包括智能电话和平板PC。然而，本发明不限于此，在一些情况下，远程设备200、300可不包括它们自身的显示设备和触摸面板，而且可不包括其他外围设备，诸如键盘或鼠标(例如，可以是无头计算机系统)，诸如服务器计算机系统。
进一步，通信模块120可将从远程设备200、300接收的显示信息传送至控制器130和/或数据驱动器110，以通过多点触摸显示面板10的显示面板来显示。
图2示出显示示例性图像的多点触摸显示面板10的多点触摸显示表面100。如图2中所图示的，多点触摸显示表面100显示多个(例如，两个)图像。
在一些实施例中，显示在多点触摸显示表面100上的图像从远程设备200、300被镜像(例如，是由远程设备200、300在它们本地显示器上显示的镜像图像)，并经由通信模块120、控制器130和/或数据驱动器110提供至多点触摸显示表面100。例如，远程设备200可将图像信息或数据(例如，显示信息或数据)发送至通信模块120，图像信息或数据由控制器130和/或数据驱动器110解释并且被显示在多点触摸显示表面100上。来自远程设备200、300的这些镜像图像在本说明书中可称为子显示表面。在图示的实施例中，第一子显示表面21可以是在远程设备200上本地显示的图像的镜像图像，并且第二子显示表面22可以是在远程设备300上本地显示的图像的镜像图像。
多点触摸显示表面100可同时显示多个子显示表面，诸如第一子显示表面21和第二子显示表面22。因为多点触摸显示表面100可相对大，所以子显示表面21和22可各自小于多点触摸显示表面100。例如，当子显示表面中的一个是智能电话屏幕时，该子显示表面在以原始(native)的分辨率被镜像时将小于多点触摸显示表面100。在一些情况下，例如由于用户的需求和/或增强的可读性，镜像图像可被调整尺寸，例如放大或缩小。
用户能够与多点触摸显示表面100上的子显示表面21和22交互，如同用户直接与远程设备200、300交互。例如，当用户触摸例如第一子显示表面21上的图标时，控制器130检测该触摸、生成对应的子显示触摸事件、并将该子显示触摸事件传送至通信模块120。然后，通信模块120将子显示触摸事件传送至对应的远程设备200。然后，远程设备200可解释所接收的子显示触摸事件，如同用户直接触摸远程设备200的触摸面板(例如，软件驱动器可解释所接收的触摸事件，如同用户已接触远程设备200的本地触摸屏)，并且远程设备200可例如通过打开所选择的应用程序而相应地作出响应。然后，来自远程设备200的更新后的图像信息(例如，包括新打开的应用程序的图像信息)可由远程设备200发送至通信模块120，并且控制器130和/或数据驱动器110解释所接收的更新后的图像信息并更新多点触摸显示表面100上的第一子显示表面21，以显示在远程设备200上打开(例如，在远程设备200上运行)的应用程序。
以上关于第一子显示表面21和远程设备200所描述的相同或基本相同的特征应用于其它子显示表面和远程设备。例如，通过使用多点触摸显示面板10，同一用户或另一用户能够与第二子显示表面22交互(例如，能够同时交互)，且进而与远程设备300交互。此外，任何数量的子显示表面(每一个子显示表面从远程设备镜像图像)，可显示在多点触摸显示面板10的多点触摸显示表面100上。例如，如图4中所示，多点触摸显示表面100可显示第一子显示表面21、第二子显示表面22和第三子显示表面23。第三子显示表面23可连接至诸如服务器或其他无头计算机系统的远程设备。
除了将由多点触摸显示面板10生成的子显示触摸事件传送至所连接的远程设备200、300以控制远程设备200、300之外，多点触摸显示面板10可检测控制(例如，仅控制)多点触摸显示表面100(例如，控制子显示表面21和22本身)的特定触摸事件。例如，在一些实施例中，当用户触摸子显示表面21和22中的一个子显示表面的边缘时，多点触摸显示面板10根据触摸事件调整对应的子显示表面21和22的尺寸。例如，当用户在第一子显示表面21的边缘处触摸多点触摸显示表面100(例如，当用户触摸多点触摸显示表面100的接近第一子显示表面21端部的区域时)并且然后移动(或拖拽)触摸点远离第一子显示表面21时，第一子显示表面21的尺寸在移动方向上被增加。相反地，当触摸点移向或移入第一子显示表面21时，第一子显示表面21的尺寸在移动方向上被减小。在这些情况下，多点触摸显示面板10可不传送任何触摸信息至远程设备200(例如，可不生成对应的子显示触摸事件)，而是根据触摸事件在多点触摸显示表面100上调整第一子显示表面21的尺寸。当调整子显示表面的尺寸时，在一些实施例中，多点触摸显示面板10可保持子显示表面(以及对应的远程设备)的长宽比；然而，本发明不限于此，并且在其它实施例中，子显示表面可被调整尺寸以具有与对应的远程设备不同的长宽比。
因为用户在第一子显示表面21的边缘处触摸，所以多点触摸显示面板10根据触摸事件解释为用户期望改变多点触摸显示表面100上的第一子显示表面21的尺寸。例如，图3图示多点触摸显示表面100，其中第一子显示表面21被调整为大于图2中的尺寸。
还如图3中所示，当与图2相比较时，第一子显示表面21和第二子显示表面22在多点触摸显示表面100上移动(例如，重定位)，并且第一子显示表面21和第二子显示表面22在多点触摸显示表面100上重定向(除了调整尺寸之外，如上所讨论)。为了重定向(或旋转)子显示表面，用户可同时触摸子显示表面的两个不同的边缘并可以以大致圆形的运动旋转触摸点(例如，用户可使用手的两个手指触摸子显示表面的两个不同的边缘，并且然后可旋转手部以旋转或重定向子显示表面)。在这种情况下，多点触摸显示面板10可不将触摸事件传送至对应的远程设备。
为了移动子显示表面，用户可在子显示表面内(例如，在子显示表面的边缘内)放置五个手指，并且然后在用户期望移动子显示表面的方向上移动五个手指。例如，当多点触摸显示面板10在一个子显示表面内检测到特定数量的接触点(例如，五个接触点或触摸)时，多点触摸显示面板10可不将触摸事件传送至对应的远程设备，而是解释触摸事件并且移动多点触摸显示表面100上的对应的子显示表面。
此外，上述示例的接触例程或手势可合并在一起(例如，可同时或同步执行)。例如，当用户在子显示表面的相对边缘上放置两个手指并且既将手指并在一起又以圆形运动旋转手指时，对应的子显示表面可既调整尺寸(例如，尺寸缩小)又旋转或重定向。
在下文中，诸如以上所述的控制多点触摸显示面板的方法的示例实施例将被描述。
图6是图示根据本发明实施例的控制多点触摸显示面板的方法的流程图，多点触摸显示面板诸如上述多点触摸显示面板10。
首先，多点触摸设备驱动器开始在多点触摸显示面板10上运行(例如，在多点触摸显示表面100和/或控制器130上运行)(操作500)。操作500可在多点触摸显示面板10首次启动(例如，开启)时发生，并可基于多点触摸显示面板10的编程而自动发生。多点触摸设备驱动器可以是基于Linux的驱动器，但本发明不限于此。
接下来，多点触摸显示面板10(例如，多点触摸显示表面100)可被扫描(操作501)以确定多点触摸显示表面100上是否检测到触摸事件。当检测到触摸事件(例如，触摸)时(操作502)，多点触摸显示面板10随后将确定触摸事件的位置(操作503)。当未检测到触摸事件时(操作502)，多点触摸显示面板10将被再次扫描(操作501)。多点触摸显示面板10的扫描(操作501)可被重复(例如，以规则的间隔重复)直到检测到触摸并且方法转入操作503。
在确定触摸事件的位置(操作503)之后，多点触摸显示面板10确定触摸事件是否在子显示表面处(操作504)。确定触摸事件是否在子显示表面处的一个示例方法是例如在控制器130中保持查找表，在该查找表中子显示表面中的每一个子显示表面的坐标(例如，边界坐标)被保持。坐标可以是例如关于多点触摸显示表面100的(x，y)坐标，但本发明不限于此。在一些实施例中，查找表可保持多点触摸显示表面100上的(x，y)坐标中的每一个(x，y)坐标的列表，子显示表面当前被显示处的(x，y)坐标在查找表中表示。
在操作504，根据一些实施例，控制器130将触摸事件的(x，y)坐标与查找表进行比较。当触摸事件位于(例如，被确定为位于)子显示表面中的一个子显示表面(例如，在其内部或外部但与其接近)时，方法转入操作505。当触摸事件位于任何子显示表面的外部(例如，外部但不接近)时，过程返回操作501并且多点触摸显示面板10被重新扫描以用于检测触摸事件。然而，在一些实施例中，多点触摸显示面板10可包括在子显示表面之后和/或与子显示表面相邻地在多点触摸显示表面100上显示的本地运行程序。在这些实施例中，当触摸事件位于任何子显示表面外部时，多点触摸显示面板10可然后确定触摸事件位置是否与显示在多点触摸显示表面100上的本地运行程序对应，并可相应作出响应。
在操作505处，多点触摸显示面板10确定触摸事件是否在子显示表面的边缘处。如本文所使用的，“在边缘处”指的是接近子显示表面的边框(内部或外部)。被考虑为接近子显示表面边框的区域可例如根据用户偏好而被修改。例如，在子显示表面边框任何一侧的特定数量的(x，y)坐标可被考虑为接近子显示表面的边框。并且，随着子显示表面尺寸的增加，邻近子显示表面边框的(x，y)坐标的数量可被减少，反之亦然。在一些实施例中，被考虑在子显示表面的边缘处的(x，y)坐标的数量可被确定，以使用户可以容易地触摸子显示表面的边缘，从而修改子显示表面(操作506，以下讨论)。如果子显示表面的边缘太小，则用户可能无法容易地选择(例如，触摸)边缘部分，并且用户意图修改子显示表面的触摸事件可能由多点触摸显示面板做出不同的解释，导致用户失望。
当多点触摸显示面板10确定触摸事件在子显示表面的边缘处时，然后触摸事件在本地被处理。例如，当触摸事件在子显示表面的边缘处时，多点触摸显示面板10不将触摸事件传送或发送至对应于子显示表面的远程设备(例如，不生成对应的子显示触摸事件)，而是在本地(例如，在控制器130和/或数据驱动器110中)处理触摸事件。当触摸事件在子显示表面的边缘处时，多点触摸显示面板10修改子显示表面。例如，如上所述，根据触摸事件，子显示表面可被调整尺寸和/或旋转。在这些情况下，控制器130中的查找表可随着子显示表面调整尺寸和/或旋转而被更新。
当多点触摸显示面板10确定触摸事件不在子显示表面的边缘处时，多点触摸显示面板10随后确定触摸事件是否是多点触摸事件(操作507)，也就是说，触摸事件中的接触点的数量是否大于或等于两个。当触摸事件不是多点触摸事件时，也就是说，当触摸事件中的触摸数量少于两个时，多点触摸显示面板10转入操作508并将触摸事件(例如，生成并将子显示触摸事件发送)传送(或发送)至对应于子显示表面的远程设备。
在操作508，多点触摸显示面板10可基于多点触摸显示表面100上的子显示表面的(x，y)坐标而重新计算触摸事件的位置。例如，触摸事件可根据其在多点触摸显示表面100上的位置(例如，其绝对位置)来分析。然而，为准确将触摸事件传送至远程设备，触摸事件的位置根据子显示表面的(x，y)坐标而被重新计算。这可在控制器130中例如通过使用计算表格来将触摸事件的绝对位置转换为其对应的子显示表面的位置来实现。然后，该重建的包括子显示表面位置的触摸事件(例如，子显示触摸事件)通过使用通信模块120传送至远程设备。因此，远程设备接收重建的触摸事件并对其进行分析，就如同远程设备分析远程设备的触摸屏上的本地触摸事件。例如，远程设备不需要进一步处理所接收的重建的触摸事件，因为触摸事件的重新计算由多点触摸显示面板10完成。
当多点触摸显示面板10确定触摸事件为多点触摸事件(操作507)时，也就是说，触摸事件中的触摸数量大于或等于两个，过程继续至操作509。
在操作509，多点触摸显示面板10确定触摸事件中的触摸数量是否大于或等于五个。当确定触摸事件中的触摸数量大于或等于五个时，多点触摸显示面板10在本地分析触摸事件(也就是说，修改多点触摸显示面板10的子显示表面(操作506))。也就是说，触摸事件不传送至远程设备。在一些实施例中，响应于五个接触点的触摸事件，多点触摸显示面板10移动多点触摸显示表面100上的子显示表面。例如，当用户期望将子显示表面移动至多点触摸显示表面100上的不同位置时，用户可在子显示表面中或附近放置五个手指以移动子显示表面。
本发明不限于五个的触摸数量来移动子显示表面。在其它实施例中，子显示表面可响应于触摸事件中的任何数量(诸如三个或四个)的触摸而移动。并且，在一些实施例中，如上所讨论的，移动、调整尺寸和/或旋转多点触摸显示表面100上的子显示表面可同时(或同步)处理。例如，当用户在子显示表面中或附近放置五个手指并且移动和旋转五个手指时，子显示表面响应于此，可以既移动又旋转。
当多点触摸显示面板10确定触摸事件中的触摸数量少于五个时，多点触摸显示面板10将多点触摸事件(例如，多点触摸手势)传送至远程设备(操作510)。类似于上述操作508，在操作510，多点触摸显示面板10可重新计算对应的子显示表面和相应的远程设备的多点触摸事件(例如，可生成多点触摸子显示触摸事件)。
在将多点触摸事件传送至远程设备(操作510)或移动子显示表面(操作506)之后，过程返回至操作501并且多点触摸显示面板10被重新扫描以用于检测下一触摸事件。只要多点触摸显示面板10保持开启，该过程就可重复。
此外，贯穿上述过程，通信模块120可从远程设备中的每一个接收显示数据以更新在多点触摸显示表面100上显示的图像(多个图像)。在一些实施例中，通信模块120可仅在触摸事件被传送至远程设备之后接收显示数据。
图7是图示根据本发明的另一实施例的控制多点触摸显示面板的方法的流程图，多点触摸显示面板诸如多点触摸显示面板10。
在操作600处开始，多点触摸显示面板10打开多点触摸设备驱动器。操作600可在开启多点触摸显示面板10时发生。例如，操作600可不需要任何用户输入而发生。在一些实施例中，多点触摸设备驱动器可以是基于Linux的驱动器。然而本发明不限于此。
多点触摸设备驱动器可重复地扫描多点触摸显示表面100以检测触摸事件(例如，触摸)。当检测到触摸事件时(操作601)，通过使用跟踪id，触摸容器(touchslot)在多点触摸显示面板10中(例如，在控制器130中)激活(操作602)。触摸容器可包括容器id(或多点触摸id)以及一个或多个容器位置，容器id表示触摸事件中的接触点的数量，容器位置表示多点触摸显示表面100的接触点的位置。
因此，在用户用两个手指触摸多点触摸显示表面100的示例中，触摸容器0可通过跟踪id而被激活，并且触摸容器0的容器id可以是2。容器位置中的每一个可以是多点触摸显示表面100上(例如，相应容器id的)的相应接触位置的(x，y)坐标。
然后，当同步事件被接收(操作603)时，多点触摸显示面板10(例如，控制器130)识别触摸事件完成并且准备执行。然而，在这种情况下，触摸事件完成仅表示与多点触摸显示表面100的一些接触，并不表示用户已移除与多点触摸显示表面100的接触。因此，例如特定时间量的一个或多个接触点的移动或一个或多个接触点的非移动可表示多点触摸显示面板10将要执行的已完成的触摸事件。
当同步事件不被接收时(操作604)，当前触摸容器被保存(例如，保存在控制器130中)并且过程返回至等待另一触摸事件。任何后续触摸事件将被分配比保存的触摸容器更大的触摸容器。
当同步事件被接收时(操作605)，触摸容器的位置(例如，容器定位)相对于多点触摸显示表面100上的子显示表面的位置被确定。例如，控制器130可保持查找表，该查找表存储子显示表面中的每一个位于多点触摸显示表面100上的位置的信息(例如，(x，y)坐标)。控制器130可将容器位置与多点触摸显示表面100上的子显示表面的位置进行比较。
当触摸容器的容器id接近(例如，在其上或与其邻接)子显示表面中的一个子显示表面的边框(操作606)时，控制器130可在本地解释触摸容器(例如，可不将触摸容器发送至远程设备)，并且如上所述，可响应于触摸容器，调整多点触摸显示表面100上的子显示表面的尺寸或旋转多点触摸显示表面100上的子显示表面。
当具有在子显示表面中的一个子显示表面内的容器位置的容器id的数量大于或等于五时(操作607)，控制器130可在本地解释触摸容器，并且如上所述，可响应于触摸容器而在多点触摸显示表面100上移动子显示表面。
当具有在子显示表面中的一个子显示表面中的容器位置的容器id的数量少于五时(操作608)，子显示触摸容器(例如，虚设触摸容器)由控制器130创建。如将要在下面参考图8进一步描述的，在操作608处，子显示触摸容器通过从落入子显示表面内的触摸容器重新映射容器位置来创建。因为子显示表面可能不占据(例如，可小于)整个多点触摸显示表面100，所以子显示表面上的容器位置(例如，子显示表面上的触摸位置的(x，y)坐标)可不同于多点触摸显示表面100上的容器位置(例如，多点触摸显示表面100上的触摸位置的(x，y)坐标)。因此，控制器130可根据触摸容器重新映射触摸容器相对于子显示表面的容器位置，以生成子显示触摸容器。进一步，当对应于子显示表面的远程设备以与多点触摸显示表面100上所显示的子显示表面不同的分辨率显示图像时，控制器130还可根据分辨率的差重新映射触摸容器。
然后，控制器130经由通信模块120将子显示触摸容器发送至对应于子显示表面的远程设备。远程设备接收子显示触摸容器并在本地解释该子显示触摸容器，如同其在本地触摸屏解释触摸。例如，远程设备可能不必再处理或解释子显示触摸容器，而必须处理或解释本地触摸事件，因而允许利用多点触摸显示面板10对不同的远程设备的方便使用。
图8是进一步图示在图7所图示的方法的操作609的流程图。如上所述，在操作609处，多点触摸显示面板10将触摸事件发送至与多点触摸显示表面100上的所接触的子显示表面对应的远程设备。
在操作609.1处，多点触摸显示面板10(例如，控制器130)生成与所接触的子显示表面对应的远程设备的虚设跟踪id。然后，多点触摸显示面板10根据子显示表面和远程设备重建触摸容器(例如，生成子显示触摸容器)。例如，如上所述，对应于虚设跟踪id的子显示触摸容器针对多点触摸显示表面100上的子显示表面的尺寸和旋转进行调整。例如，子显示触摸容器将具有基于子显示表面的(x，y)坐标(例如，基于子显示表面内的接触点)而非基于多点触摸显示表面100的(x，y)坐标(例如，基于多点触摸显示表面100内的接触点)。类似地，当子显示表面以不同于对应的远程设备上本地运行的分辨率而显示时，子显示触摸容器将因此而被调整。
在操作609.2处，当触摸事件是活动的时，例如当附加的触摸事件正在子显示表面内产生(例如，正由多点触摸显示面板10创建)时，多点触摸显示面板10继续建立虚设跟踪id内的附加子显示触摸容器，并将该子显示触摸容器发送至对应的远程设备。因此，在多点触摸显示表面100上的触摸事件与对应的远程设备的响应之间存在减小的或最小的延迟。
当接触点(例如，当前触摸事件)移动到子显示表面外部时(操作609.3)(例如，当用户从子显示表面内部将接触点移动或拖拽到子显示表面外部时)，则多点触摸显示面板10将对应于虚设跟踪id的非活动跟踪id(即，虚设非活动信号)发送至远程设备。也就是说，即使触摸事件不在多点触摸显示表面100结束，多点触摸显示面板10也创建并发送非活动跟踪id(例如，虚设非活动信号)至远程设备，以使虚设跟踪id成为非活动并结束远程设备上的触摸事件(或使远程设备上的触摸事件失效)。
当接触点(例如，当前触摸事件)变成非活动时(操作609.4)(例如，当接触点从多点触摸显示表面100移除时)，多点触摸显示面板10生成并发送非活动跟踪id至远程设备，以使虚设跟踪id成为非活动并结束远程设备上的触摸事件。
尽管已经参考示例实施例描述了本发明，但本领域技术人员将会意识到，对所述实施例可执行各种改变和修改，这些改变和修改均不偏离本发明的精神和范围。此外，多领域技术人员将会意识到，本文描述的发明将对用于其他应用程序的其他任务和改编建议解决方案。申请人意图通过本文的权利要求来覆盖本发明的所有使用，以及可对本文选择用于公开目的的本发明的示例实施例进行的那些改变和修改，这些均不偏离本发明的精神和范围。因此，本发明的示例实施例应当从各个方面考虑为说明性而非限制性，本发明的精神和范围由所附权利要求及其等同物表示。

Claims (16)

1.一种多点触摸显示面板，包括：
第一显示面板，所述第一显示面板被配置为根据图像数据显示图像，所述图像包括子显示表面；
多点触摸面板，所述多点触摸面板设置在所述第一显示面板上方并且被配置为基于触摸事件生成触摸数据；
通信模块，所述通信模块被配置为与远程设备通信，所述远程设备包括第二显示面板和触摸屏，所述通信模块进一步被配置为从所述远程设备接收用于所述子显示表面的所述图像数据，并且将所生成的触摸数据提供至所述远程设备；以及
控制器，所述控制器被连接至所述多点触摸面板和所述通信模块，所述控制器被配置为确定所述触摸事件关于所述子显示表面的位置，并且当所述触摸事件的所述位置在所述子显示表面内时，被配置为根据所述子显示表面生成子显示触摸事件并且将所述子显示触摸事件发送至与所述子显示表面对应的所述远程设备，
其中，当所述触摸事件从所述子显示表面内部到所述子显示表面外部移动时，所述控制器被配置为生成虚设非活动信号以使所述远程设备上的所述触摸事件失效，并且被配置为将所述虚设非活动信号发送至所述远程设备，并且
其中，当所述触摸事件在所述子显示表面内并且包括一个至四个之间的接触点时，所述控制器被配置为将所述多点触摸面板上的所述触摸事件的绝对位置转换为所述绝对位置的对应的子显示表面位置，并且将包括所述对应的子显示表面位置的所述触摸事件发送到与所述子显示表面对应的所述远程设备。
2.根据权利要求1所述的多点触摸显示面板，其中所述通信模块进一步被配置为与多个远程设备通信，所述多个远程设备中的至少一个远程设备包括所述第二显示面板和所述触摸屏。
3.根据权利要求2所述的多点触摸显示面板，其中所述图像包括多个子显示表面，并且
其中所述多个子显示表面中的相应子显示表面与从所述多个远程设备中的相应远程设备接收的图像数据对应。
4.根据权利要求3所述的多点触摸显示面板，其中用于所述多个子显示表面中的至少一个子显示表面的所接收的图像数据被调整尺寸以显示在所述第一显示面板上。
5.根据权利要求3所述的多点触摸显示面板，其中查找表存储在所述控制器中，并且
其中所述查找表保持所述子显示表面相对于所述第一显示面板的位置的数据。
6.根据权利要求3所述的多点触摸显示面板，其中所述控制器进一步被配置为确定所生成的触摸数据位于所述多个子显示表面中的哪一个子显示表面处，基于所生成的触摸数据在所述多个子显示表面中对应的一个子显示表面内的位置而生成所述子显示触摸事件，并且经由所述通信模块将所述子显示触摸事件发送至与所述多个子显示表面中的所述一个子显示表面对应的所述远程设备。
7.一种控制多点触摸显示面板的方法，所述多点触摸显示面板包括第一显示面板和多点触摸面板，并且被配置为与多个远程设备通信，所述多个远程设备中的至少一个远程设备包括第二显示面板和多点触摸屏，所述方法包括：
从所述多个远程设备接收显示数据；
在所述多点触摸显示面板的所述第一显示面板上将所接收的显示数据显示为离散的多个子显示表面；
扫描所述多点触摸显示面板的所述多点触摸面板以检测触摸事件；
当检测到所述触摸事件时，确定所述触摸事件关于所述多个子显示表面的位置；
当所述触摸事件的所述位置在所述多个子显示表面中的一个子显示表面内时，根据所述一个子显示表面生成子显示触摸事件；
当所述触摸事件从所述一个子显示表面内部到所述一个子显示表面外部移动时，生成虚设非活动信号，所述虚设非活动信号被配置为使所述多个远程设备中的与所述一个子显示表面对应的远程设备上的所述子显示触摸事件失效；并且将所述虚设非活动信号发送至所述远程设备，以及
当所述触摸事件在所述一个子显示表面内并且包括一个至四个之间的接触点时，将所述多点触摸面板上的所述触摸事件的绝对位置转换为所述绝对位置的对应的子显示表面位置，并且将包括所述对应的子显示表面位置的所述触摸事件发送到与所述一个子显示表面对应的所述远程设备。
8.根据权利要求7所述的方法，其中所接收的显示数据显示在所述对应的远程设备的所述第二显示面板上。
9.根据权利要求7所述的方法，其中所述生成子显示触摸事件包括：
将所述触摸事件在所述多点触摸显示面板的所述多点触摸面板上的所述位置与所述一个子显示表面在所述多点触摸显示面板的所述第一显示面板上的位置进行比较；以及
根据所述触摸事件在所述一个子显示表面上的所述位置创建包括所述触摸事件的位置数据的虚设触摸事件。
10.根据权利要求7所述的方法，其中，当所述触摸事件在所述多个子显示表面中的一个子显示表面的边缘处时，根据所述触摸事件旋转在所述多点触摸显示面板上的所述一个子显示表面，或者根据所述触摸事件调整在所述多点触摸显示面板上的所述一个子显示表面的大小。
11.根据权利要求7所述的方法，其中，当所述触摸事件包括在所述一个子显示表面内的五个接触点时，根据所述触摸事件移动在所述多点触摸显示面板上的所述一个子显示表面的位置。
12.根据权利要求7所述的方法，进一步包括：从所述远程设备接收更新后的显示数据；以及
将所述多点触摸显示面板的所述第一显示面板上显示的所述多个子显示表面更新为离散的子显示表面。
13.一种系统，包括根据控制多点触摸显示面板的方法操作的所述多点触摸显示面板，所述多点触摸显示面板包括第一显示面板、多点触摸面板以及通信模块，所述第一显示面板被配置为根据显示数据显示图像；所述多点触摸面板被设置在所述第一显示面板上方并且被配置为生成触摸数据；所述通信模块被配置为与包括第二显示面板和触摸屏的远程设备通信，所述通信模块进一步被配置为将所述显示数据提供至所述第一显示面板并且将所述触摸数据提供至所述远程设备，所述方法包括：
从所述远程设备接收所述显示数据；
在所述多点触摸显示面板的所述第一显示面板上将所接收的显示数据显示为子显示表面；
扫描所述多点触摸面板以检测触摸事件；
当检测到所述触摸事件时，确定所述触摸事件关于所述子显示表面的位置；
当所述触摸事件的所述位置在所述子显示表面内时，经由所述通信模块将所述触摸事件发送至所述远程设备；
当所述触摸事件从所述子显示表面内部到所述子显示表面外部移动时，生成虚设非活动信号，所述虚设非活动信号被配置为使所述远程设备上的所述触摸事件失效；并且将所述虚设非活动信号发送至所述远程设备，以及
当所述触摸事件在所述子显示表面内并且包括一个至四个之间的接触点时，将所述多点触摸面板上的所述触摸事件的绝对位置转换为所述绝对位置的对应的子显示表面位置，并且将包括所述对应的子显示表面位置的所述触摸事件发送到与所述子显示表面对应的所述远程设备。
14.根据权利要求13所述的系统，其中所述通信模块被配置为与多个远程设备通信，并且
其中显示所接收的显示数据包括：将从所述多个远程设备中的每一个远程设备接收的显示数据显示为离散的多个子显示表面。
15.根据权利要求14所述的系统，其中所述方法进一步包括，当所述触摸事件在所述多个子显示表面中的一个子显示表面的边缘处时，根据所述触摸事件旋转所述多个子显示表面中的所述一个子显示表面或调整所述多个子显示表面中的所述一个子显示表面的尺寸。
16.根据权利要求15所述的系统，其中所述方法进一步包括：当所述触摸事件在所述多个子显示表面中的所述一个子显示表面内并且包括至少五个接触点时，在所述多点触摸显示面板的所述第一显示面板上移动所述多个子显示表面中的所述一个子显示表面。
CN201710552196.9A 2016-07-07 2017-07-07 多点触摸显示面板及其控制方法和系统 Active CN107589864B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662359665P 2016-07-07 2016-07-07
US62/359,665 2016-07-07
US15/245,080 2016-08-23
US15/245,080 US10558288B2 (en) 2016-07-07 2016-08-23 Multi-touch display panel and method of controlling the same

Publications (2)

Publication Number Publication Date
CN107589864A CN107589864A (zh) 2018-01-16
CN107589864B true CN107589864B (zh) 2022-09-02

Family

ID=59313060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710552196.9A Active CN107589864B (zh) 2016-07-07 2017-07-07 多点触摸显示面板及其控制方法和系统

Country Status (4)

Country Link
US (1) US10558288B2 (zh)
EP (1) EP3267303B1 (zh)
KR (1) KR102199356B1 (zh)
CN (1) CN107589864B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6903935B2 (ja) * 2017-02-17 2021-07-14 ソニーグループ株式会社 情報処理システム、情報処理方法、およびプログラム
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
CN108762659B (zh) * 2018-05-24 2022-08-19 深圳市腾讯网络信息技术有限公司 云终端的操控方法、装置、存储介质和电子装置
KR102577674B1 (ko) 2018-07-04 2023-09-15 삼성디스플레이 주식회사 전자 장치
GB2576359B (en) * 2018-08-16 2023-07-12 Displaylink Uk Ltd Controlling display of images
GB2611007B (en) * 2018-08-16 2023-07-05 Displaylink Uk Ltd Controlling display of images
US11093046B2 (en) * 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
US11327707B1 (en) * 2020-04-09 2022-05-10 Cisco Technology, Inc. Multi-device interactivity system for a touch screen display
CN114708403A (zh) * 2020-12-16 2022-07-05 高勇 一种互动投影输入输出设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364734A (zh) * 2012-06-08 2015-02-18 微软公司 使用多点触摸输入的远程会话控制
CN105637469A (zh) * 2013-08-23 2016-06-01 通用电气公司 用于桌面计算机系统的导航控制

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8847888B2 (en) 2007-12-18 2014-09-30 Microsoft Corporation Optical mouse with limited wavelength optics
US9721420B2 (en) 2008-01-08 2017-08-01 Bally Gaming, Inc. Video switcher and touch router method for multi-layer displays
US8390577B2 (en) 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
US8285499B2 (en) * 2009-03-16 2012-10-09 Apple Inc. Event recognition
KR101542744B1 (ko) * 2009-03-18 2015-08-10 삼성전자주식회사 네트워크에서 피제어장치를 제어하는 방법 및 그 장치
US20110050640A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
EP2325737B1 (fr) 2009-10-28 2019-05-08 Orange Procédé et système de gestion d'une interface graphique pour l'affichage de composants graphiques applicatifs
US20110109526A1 (en) * 2009-11-09 2011-05-12 Qualcomm Incorporated Multi-screen image display
US8860686B2 (en) 2010-04-30 2014-10-14 Atmel Corporation Multi-chip touch screens
JP2013153346A (ja) * 2012-01-25 2013-08-08 Funai Electric Co Ltd 遠隔操作システム
KR20130099717A (ko) * 2012-02-29 2013-09-06 주식회사 팬택 터치 스크린 기반의 사용자 인터페이스 제공 장치 및 방법
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US9268423B2 (en) 2012-09-08 2016-02-23 Stormlit Limited Definition and use of node-based shapes, areas and windows on touch screen devices
CN103440099A (zh) * 2013-08-14 2013-12-11 深圳市同洲电子股份有限公司 一种多屏交互方法、终端及系统
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
US20150100914A1 (en) * 2013-10-04 2015-04-09 Samsung Electronics Co., Ltd. Gestures for multiple window operation
CN105940385B (zh) * 2013-11-07 2021-06-25 英特尔公司 从单个触摸屏控制主显示器和次级显示器
KR20160102179A (ko) 2013-12-27 2016-08-29 소니 주식회사 표시 제어 장치, 표시 제어 방법 및 프로그램
CN104317498A (zh) * 2014-10-21 2015-01-28 天津三星通信技术研究有限公司 便携式终端及其操作方法
JP6350261B2 (ja) * 2014-12-17 2018-07-04 コニカミノルタ株式会社 オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
CN109871190B (zh) * 2015-06-16 2022-05-31 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104364734A (zh) * 2012-06-08 2015-02-18 微软公司 使用多点触摸输入的远程会话控制
CN105637469A (zh) * 2013-08-23 2016-06-01 通用电气公司 用于桌面计算机系统的导航控制

Also Published As

Publication number Publication date
US10558288B2 (en) 2020-02-11
EP3267303B1 (en) 2021-04-07
US20180011586A1 (en) 2018-01-11
CN107589864A (zh) 2018-01-16
EP3267303A1 (en) 2018-01-10
KR20180006614A (ko) 2018-01-18
KR102199356B1 (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
CN107589864B (zh) 多点触摸显示面板及其控制方法和系统
US10133396B2 (en) Virtual input device using second touch-enabled display
US10387014B2 (en) Mobile terminal for controlling icons displayed on touch screen and method therefor
US11443453B2 (en) Method and device for detecting planes and/or quadtrees for use as a virtual substrate
US8854325B2 (en) Two-factor rotation input on a touchscreen device
US9035883B2 (en) Systems and methods for modifying virtual keyboards on a user interface
US10108337B2 (en) Information handling system hybrid keyboard
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
CN105094654B (zh) 一种屏幕控制方法及装置
US20120249463A1 (en) Interactive input system and method
KR20100041006A (ko) 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US10365822B2 (en) Information handling system multi-handed hybrid interface devices
US11366579B2 (en) Controlling window using touch-sensitive edge
US20190064947A1 (en) Display control device, pointer display method, and non-temporary recording medium
EP2998838B1 (en) Display apparatus and method for controlling the same
KR20150052481A (ko) 콘텐츠 표시 방법 및 이를 구현하는 전자 장치
US8819584B2 (en) Information processing apparatus and image display method
US20120162262A1 (en) Information processor, information processing method, and computer program product
US10963073B2 (en) Display control device including pointer control circuitry, pointer display method, and non-temporary recording medium thereof
US20100265107A1 (en) Self-description of an adaptive input device
TWI493431B (zh) 指向元件之可調整方向提示方法及系統
KR102693795B1 (ko) 전자 장치 및 그 제어 방법
US20170031589A1 (en) Invisible touch target for a user interface button
AU2022350066A1 (en) Display panel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant