CN105144033A - 经由传感器融合的扩展交互式输入 - Google Patents

Abstract

提供用于无缝地扩展交互式输入的根据本发明的一或多个实施例的系统和方法。在实施例中，一种方法包括：用第一传感器检测由控制物件进行的输入的至少一部分。所述方法还包括：确定所述控制物件定位于过渡区域内。所述方法进一步包括：至少部分地基于所述控制物件定位于所述过渡区域内的所述确定来确定是否用第二传感器来检测所述输入的后续部分。

Description

经由传感器融合的扩展交互式输入

技术领域

本发明通常涉及在用户设备界面上的交互式输入。

背景技术

当前，具备例如触摸屏或手势辨识等交互式输入能力的用户设备(例如，智能电话、平板电脑、笔记本等等)通常具有小尺寸屏幕。

通常可在小尺寸屏幕上执行交互式输入，如触摸输入和手势(大多通过手)。然而，小尺寸屏幕会限制交互式输入区域，致使交互式输入较为基础，并且阻碍例如平滑的滑动、滚动、平移、缩放等交互。在某些情况下，当前的交互式输入，例如手势，可以在屏幕旁完成，例如通过用笔标记；然而，这可能导致输入和界面响应之间的断开。

此外，交互式输入，例如触摸输入和手势，通常可能遮蔽用户设备的小尺寸屏幕。例如，当前的触摸输入受限于用户设备的屏幕，这可能使得难以看到受影响的内容。同样地，交互式输入可能需要用户执行重复的动作以执行任务，例如，多重滑动缩放、选择或滚动运动。

相应地，本领域需要改善用户设备上的交互式输入。

发明内容

根据本发明的一或多个实施例，提供了用于通过从一个传感器到另一个传感器无缝过渡从而扩展交互式输入的方法和系统。

根据一个实施例，一种方法包括：用第一传感器检测由控制物件进行的输入的至少一部分。所述方法还包括：确定控制物件定位于过渡区域中。所述方法还包括：至少部分地基于所述控制物件定位于所述过渡区域的确定，确定是否用第二传感器检测所述输入的后续部分。

根据另一个实施例，一种方法包括：用与电子设备相连的第一传感器检测由控制物件进行的输入的至少一部分。所述方法还包括：检测所述控制物件进入过渡区域或在所述过渡区域内的移动。并且，所述方法还包括：至少部分地基于所述控制物件的被检测到的移动，确定是否用与所述电子设备相连的第二传感器检测所述输入的后续部分。

在一个实施例中，所述方法还包括：确定所述控制物件的位置是否可能超出第一传感器的检测范围。在一个实施例中，所述方法包括：基于活动应用，确定所述控制物件的位置是否可能超出第一传感器的检测范围。在一个实施例中，所述方法包括：基于所述移动的速度，确定控制物件的位置是否可能超出第一传感器的检测范围。在一个实施例中，所述方法包括：基于从与所述控制物件相关联的用户先前输入获得的信息，确定控制物件的位置是否可能超出第一传感器的检测范围。

在另一个实施例中，所述方法还包括：确定与使用第一传感器相比、使用第二传感器能够以更高的置信度检测到所述控制物件的移动。

在另一个实施例中，所述方法还包括：至少部分地基于所述控制物件的被检测到的移动，确定是否用第三传感器检测所述输入的后续部分。

在另一个实施例中，所述过渡区域包括第一过渡区域，并且，所述方法还包括：检测控制物件进入第二过渡区域或在第二过渡区域内的移动，所述第二过渡区域至少部分地与所述第一过渡区域重叠。

在另一个实施例中，第一传感器包括与装置的屏幕基本对齐的电容式触摸传感器，且第二传感器包括在装置边缘上的广角相机或能够感测超声频率的麦克风。在另一个实施例中，第一传感器包括经配置以在至少部分地与装置的屏幕对齐的视野内捕捉图像的第一相机，且第二传感器包括经配置以在至少部分地偏离装置的屏幕的视野内捕捉图像的相机。在另一个实施例中，第一传感器包括在装置边缘上的广角相机或能够感测超声频率的麦克风，且第二传感器包括与装置的屏幕基本对齐的电容式触摸传感器。在另一个实施例中，第一传感器包括经配置以在至少部分地与装置的边缘对齐的视野内捕捉图像的第一相机，且第二传感器包括经配置以在至少部分地与装置的屏幕对齐的视野内捕捉图像的第二相机。

在另一个实施例中，所述方法还包括从多个附接到电子装置的传感器中选择第二传感器。在一个实施例中，所述电子装置包括移动装置。在另一个实施例中，所述电子装置包括电视机。

在另一个实施例中，第一传感器和第二传感器中的一个包括设置在所述电子装置的表面上的能够感测超声频率的第一麦克风，且第一传感器和第二传感器中的另一个包括设置在所述电子装置的边缘上的能够感测超声频率的第二麦克风。

在另一个实施例中，所述方法还包括：用第二传感器检测所述输入的后续部分，并基于输入和输入的后续部分影响电子装置上的应用的操作。在一实施例中，所述方法还包括：对来自第一传感器和第二传感器的数据进行时间同步，使得当用第一传感器检测时与当用第二传感器检测时相比，控制物件的移动对操作的影响基本相同。在一实施例中，所述操作包括缩放操作，其中所述移动包括：在装置的显示器之上或与装置的显示器接触的第一区域、以及与第一区域偏离的第二区域之间的控制物件过渡。在另一个实施例中，所述操作包括滚动或平移操作，其中所述移动包括在装置的显示器之上或与装置的显示器接触的第一区域、以及与第一区域偏离的第二区域之间的控制物件过渡。

在另一个实施例中，所述方法还包括：检测脱离输入，并基于所检测到的脱离输入，停止对应用的操作的影响。在一实施例中，所述控制物件的移动基本上在平面内，且所述脱离输入包括控制物件在所述平面之外的运动。在另一个实施例中，所述控制物件包括手，且所述脱离输入包括手的闭合。

附图说明

图1是示出了根据本发明的实施例的从屏上到屏外的手势延伸的图。

图2是示出了根据本发明的实施例的从屏外到屏上的手势延伸的图。

图3是示出了根据本发明的实施例的具有配合使用以跟踪物件的一组传感器的装置的图。

图4是示出了根据本发明的实施例的用于跟踪控制物件的方法的流程图。

图5是示出了根据本发明的实施例的超出用户装置的屏幕而继续触摸动作的图。

图6是示出了根据本发明的实施例的超出用户装置的屏幕而继续触摸动作的图。

图7是示出了根据本发明的另一实施例的超出用户装置的屏幕而继续触摸动作的图。

图8是示出了根据本发明的实施例的用于跟踪控制物件的移动的方法的流程图。

图9是示出了根据本发明的实施例的用于实现装置的系统的框图。

图10是示出了根据本发明的实施例的用于延伸交互式输入的方法的流程图。

具体实施方式

提供了根据本发明的一或多个实施例的系统和方法，其例如经由多模传感器融合来用于无缝地延伸交互式输入(例如，触摸和手势辨识)。

经配置以检测非触摸输入的传感器或技术可以被包括在用户装置或系统内、和/或定位于用户装置的各个表面，例如定位于用户装置的顶部、底部、左侧、右侧和/或背部，以使得例如手势之类的非触摸数据在用户装置前方(屏上)以及用户装置屏幕的直接视线之外(屏外)被执行时可以被捕捉。通常，屏外非触摸输入在下文中也可以被称为“屏外手势”，其中“屏外手势”可以指代例如手、手指、笔等的控制物件的位置或运动数据，其中所述控制物件不接触用户装置，但是靠近用户装置。这些“屏外”非触摸手势不仅可以是从用户装置的屏幕中移除，而且它们可以包括控制物件相对于装置的屏幕或显示器向一旁偏离所述装置的部分。例如，可以想象这样的容体，其沿着大致垂直于所述装置的显示器或屏幕的平面的方向延伸离开所述显示器或屏幕。“屏外”手势可以包括执行手势的控制物件的至少一部分定位于所述容体之外的手势。在一些实施例中，“屏上”手势和/或输入可以至少部分地定位于所述容体内，并且可以包括触摸输入和/或手势、或非触摸输入和/或手势。

在一或多个实施例中，屏上(或屏幕上方)手势辨识可以与屏外(或超出屏幕)手势辨识组合和同步，以提供具有连续精确解析的无缝用户输入。

在一个实例中，影响在用户装置上显示的内容的动作，例如滚动列表、网页等，可以基于用户输入，例如，基于检测到的手势(其包含例如手、笔、手指等的控制物件的运动)的速度，以对于手势运动来说同样的相对内容速度继续进行。也就是说，当用户移动其手的时候，例如向上运动的时候，如果用户的移动速度是一致的，那么例如列表、网页等等的内容继续以恒定的速度滚动。任选地，用户可能有更为一致的体验，其中动作的速度，例如滚屏的速度，并不总是相同。例如，滚屏速度可以选择性地基于检测到的手势而增加，检测到的手势包括控制物件(例如，手、笔、手指，等等)的运动，从而，如果控制物件移动地比滚屏速度更快，则滚屏速度可以增加。因而，在用户装置上执行的动作的速度与例如滚屏的装置响应之间可存在相关性。因而，在一些实施例中，无论手势的任何给定部分被限定于何处(例如，不管用户正在接触装置的显示器还是手指已经滑到显示器外)，装置对于用户移动的反应是一致的。

此外，在一或多个实施例中，可以经由集成触摸传感器数据与无触摸手势数据，使触摸或多重触摸动作继续或延伸到屏外。特别地，触摸或多重触摸动作可能不与手势同时执行，而是实现软传递，以使得触摸或多重触摸动作随手势继续。在这一方面，触摸动作或输入可以使用例如超声波、在用户装置的一或多个边缘上的广角图像捕捉装置(例如相机)等的用于跟踪屏外手势的技术来启动屏外手势检测。

因此，触摸输入感测数据可以与手势输入感测数据相组合，以创建一个连续的输入命令。此类数据集可以被同步，以提供具有连续精确解析的无缝用户输入。并且，所述数据集可以被联合，以提供具有变化精确解析的连续用户输入。例如，在一些实施例中，适于检测手势输入感测数据的传感器可能具有不同于适于检测触摸输入感测数据的输入的精确解析。在一些实施例中，与在用第二传感器形态检测时相比，在用第一传感器形态检测时更精细的手势可以产生效果。

在各种实施例中，可以识别例如存在从一个传感器向另一个传感器的切换使得手势的精度可以保持恒定的过渡区域或过渡区。在可以存在从相机至超声波传感器的过渡区的一个实例中，可能不存在装置对用户输入的响应的任何不连贯，也就是说，可以在传感器之间提供无缝响应，使得可以为装置的用户创建连续体验。在这种情况下，两个不同的传感器或技术(例如，相机和超声波传感器)可以感测同一交互式输入(例如，无触摸手势)。因此，当从一个区域移动到另一区域时，使传感器输入匹配，使得实现无缝的用户体验。多传感器过渡可以包含从传感器到传感器，例如从相机到超声波传感器，从超声波传感器到相机或另一传感器，等等。在一或多个实施例中，在可以同时使用这些传感器之处，过渡区域或过渡区中的切换可以是软切换。在另一实施例中，可以从一个传感器到另一个传感器而发生过渡区域或过渡区中的切换，使得在传感器之间存在硬切换，也就是说，在由另一传感器完成检测之后或在一个传感器关闭之后，可以使用一个传感器。

有利地，这里的实施例可以在用户装置的屏幕上创建更多交互区域，可以扩展用户输入命令，可以避免屏幕遮挡，例如，可以通过减少或替换重复的触摸命令来延伸主要交互，和/或可以创建更顺滑的交互体验，例如缩放、滚动等。

参考图1，其是根据本发明的实施例的将手势从屏上延伸到屏外的图。

在各种实施例中，用户可以出于各种目的使用屏上到屏外手势，来影响内容，如划动、滚动、平移、缩放等等。例如，为了影响预期的屏上内容，用户可以通过在用户装置104的屏幕上使用打开的手102，开始手势。然后，如参考符号106所示，用户可以继续所述手势，离开用户装置104的屏幕，以继续影响屏上内容。在此实例中，用户可以将打开的手102移向用户装置104的屏幕的右侧以继续所述手势。在各种实例中，用户可以继续所述手势而离开用户装置，使得打开的手102不在用户装置104的屏幕的视线内(即，不在视野内)。停止所述手势可以停止影响内容。任选地，用户可以执行脱离手势，以停止对当前手势的跟踪。

在又一实例中，用户可以使用从屏上到屏外手势，以滚动列表。为了开始，用户可以在用户装置的屏幕上移动手，例如打开的手，使得屏上列表滚动。然后，用户可以继续将手向上移动并超出用户装置，以使屏上列表以同样的相对于运动的速度，继续滚动。在一些实施例中，可以考虑手势的速度，并且在移动速度和执行动作的速度(例如，滚动较快)之间可能存在相关性。类似地，将所显示内容的一部分的位置与控制物件的位置匹配可以在一些实施例中产生相同的效果，使得用户移动控制物件越快，要显示的滚动显得更快。当停止手移动时，滚动可以停止。任选地，可以检测脱离手势，例如闭合的手，并且，响应于此，停止当前手势的跟踪。在其他实施例中，如果手的移动已经滚动到屏外、停止移动、或处于距用户装置的设定距离处，则动作(例如，滚动)可以继续直到不再检测到手时为止。

在又一实例中，用户可以使用屏上到屏外手势用于缩放地图。开始，用户可以将两个手指一起放在用户装置(在单手或双手上)的屏幕上。然后，用户可以将手指移动分开，使得屏上地图放大。用户可以继续将手指移动分开，使至少一根手指超出用户装置，使得屏上地图以同样的相对于运动的速度继续放大。在任意点处停止手指来停止缩放。任选地，用户可以执行脱离手势以便停止当前手势的跟踪。

现在参照图2，所述图示出了根据本发明的实施例的手势从屏外延伸到屏上。

屏外到屏上手势可被用于各种目的以影响内容，如滑动、滚动、平移、缩放等。在本实施例中，用户可例如通过使用离开用户装置204的屏幕(例如，离开用户装置204的屏幕视线)的打开的手202，来开始手势。在各种实施例中，屏外手势检测和跟踪可以通过使用例如超声波、在用户装置的一或多个边缘上等的广角图像捕捉装置(例如，例如可见光相机、范围成像相机(如飞行时间相机)、结构化的光相机、立体相机等的相机)、IR等的技术来完成。然后，用户可以继续将手势越过用户装置以继续影响屏上内容，如参考符号206所示。在此实例中，用户可以将打开的手202朝向左侧的用户装置204的屏幕移动，以继续所述手势。停止所述手势可以停止影响所述内容。任选地，用户可以执行脱离手势，以停止当前手势的跟踪。

在另一实例中，用户可以使用屏外到屏上手势用于滚动列表。开始，用户可以执行屏外手势，例如在用户装置下面的抓握手势。然后，用户可以将手向上移动，以使屏上列表滚动。然后，用户可以继续将手向上移动到用户装置上，以使屏上列表以同样的相对于运动的速度，继续滚动。在一些实施例中，可以考虑手势的速度，并且在移动速度和执行动作的速度(例如，滚动较快)之间可能存在相关性。在任意点处停止手的移动可以停止所述滚动。任选地，用户可以执行脱离手势以便停止当前手势的跟踪。现在参照图3，示出了根据本发明的实施例的具有配合使用以跟踪物件的一组传感器的装置的图。

可以沿不同的方向将传感器组(例如，扬声器)安装在装置302上，并且配合使用传感器组，以平滑跟踪例如超声波笔或手指的物件。扬声器可以检测由物件(例如，钢笔或其他装置)发射的超声波，或在装置中可以存在超声波发射器，并且扬声器可以检测来自发射器的反射。在各种实施例中，传感器可以包括扬声器、麦克风、肌电图描记(EMG)条、或任何其他感测技术。在各种实施例中，手势检测可以包括超声手势检测、基于视觉的手势检测(例如，通过相机或其他图像或视频捕捉技术)、超声波笔手势检测，等等。在各种实施例中，相机可以是可见光相机、范围成像相机(例如，飞行时间相机)、结构化的光相机、立体相机，等。

图3的实施例是对手势检测和跟踪技术的说明，其包括控制物件，例如，在装置302之上、以及一或多个侧面上使用的超声波笔或手指。在各实施例中，一或多个传感器可以检测控制物件(例如，超声波笔、手指等)的输入，使得当确定控制物件定位于过渡区域时，可以至少部分地基于控制物件定位于过渡区域的确定，来确定是否采用另一传感器检测所述输入的后续部分。过渡区域可以包括其中有从一个传感器到另一传感器的切换、或多传感器过渡的区域，其可以包括从传感器到传感器，例如从相机到超声波传感器、从超声波传感器到相机或另一传感器等。也就是说，在各实施例中，如果识别出过渡区域或区，输入精度可以保持不变使得不会有任何不连贯，而是可使用连续运动，从而提供无缝的用户体验。在各实施例中，过渡区域可包括其中多个传感器可同时检测控制物件的物理区域。过渡区域可以是任何形状、形式或大小的，例如，平面区域、容体，或它可以依据传感器的不同属性具有不同的尺寸或形状。此外，多个过渡区域可以重叠。在这方面，在一些实施例中，可对在重叠过渡区域操作的传感器中的任何一个做出选择。在其他实施例中，对每个过渡区域分别做出决定，直到选择出单个传感器(或在一些实施例中为多个传感器)为止。例如，当两个过渡区域重叠时，对两个过渡区域中的第一个做出使用哪个传感器的决定，然后对两个过渡区域中的第二个做出使用哪个传感器的决定。

前向传感器304可与侧向传感器306及顶部传感器308被用于跟踪。在实例中，前向传感器304和侧向传感器306可联合使用以平滑地跟踪控制物件，如超声波笔或手指，根据实施例，下面将参照图4更加详细地对其描述。

在一或多个实施例中，可以用这种传感器配置来固定数据的质量。在一个实例中，可以使用来自前向传感器304的前向数据。如果前向数据具有可接受的质量，则可以维持其；然而，如果前向数据的质量较差，那么可以结合使用从侧向传感器306获得的侧向数据。也就是说，可以对前向数据的质量进行评估，且如果其质量较差(例如仅20％或更少的声音或信号被前向传感器304传感器单独地检测到)，或由于例如环境干扰、传感器被部分地阻挡或其它原因导致信号有噪声，那么可以过渡到侧向数据，其可以将数据质量提高至例如60％(例如使用侧向传感器306代替单独使用前向传感器304，可以检测到更高比例的反射声音或信号)。应当注意，通过使用额外的传感器可以提高结果的置信值。作为实例，前向传感器可以检测到控制物件(例如手指)定位于装置的侧方和前方的一定距离处，例如3厘米处，这可以由侧向传感器确认，以给出所确定结果的更高置信值，并因此在过渡区域使用多个传感器进行更高质量的跟踪。例如，可仅通过从前面到侧面使用同一控制物件(例如笔或手指)，便可平滑地完成从前面到侧面的过渡或移动。所述移动被同步，使得无需分立的控制物件，例如两个笔或手指。在实例中，用户的输入，例如用于控制装置302上的容体的手势，可以被前向传感器304(例如麦克风)检测到；随着用户的手向上移动以越过装置302的顶边，当手在传感器304和308之间的过渡区域、以及一旦手移出传感器304的范围时，就会被顶部传感器308(例如麦克风)检测到。类似地，向装置302的侧面移动可以激活或启动传感器306，使得手可以被例如侧向传感器306检测到。在各种实施例中，传感器304、306、308中的每一个都可以包括任何适当的传感器，例如扬声器、麦克风、肌电图(EMG)条带、或任何其它感测技术。

现在参考图4，示出了根据本发明的实施例的用于跟踪控制物件的方法的流程图。图4的方法可以由图3的实施例中所示的装置实现，图3示出了手势检测和跟踪技术，其包括可以在装置之上或一或多个侧面使用的控制物件，例如超声波笔或手指。

在框402中，装置(例如图3中所示的装置302)可以包括定位于不同位置的传感器(例如扬声器、麦克风等)，例如前向传感器304、侧向传感器306、顶部传感器308等。在屏上手势辨识模式中，屏上手势可以被一或多个前向传感器304识别出。

在框404中，可以从前向传感器304(例如麦克风、扬声器等)捕捉数据。

在框406中，从前向传感器304捕捉的数据可以例如由图9所示的处理组件1504处理，用于手势检测。

在框408中，例如通过处理组件1504确定是否检测到控制物件，例如笔或手指。

在框410中，如果检测到控制物件，例如笔或手指，那么手指或笔的手势运动可以被前向传感器304例如麦克风、扬声器等捕捉。

在框412中，前向手势运动可以例如通过处理组件1504或传感器控制器、或通过与传感器304和传感器302相关联的子系统之间的通信，被传递到装置302的用户界面输入。

在框414中，可以启动从侧向传感器306(例如麦克风、扬声器等)处捕捉数据。

在框416中，从侧向传感器306处捕捉的数据可以例如通过处理组件1504被处理用于手势检测。

在框418中，确定是否根据从侧向传感器306捕捉的侧向数据检测控制物件例如笔或手指。如果不是，则系统返回到框404，以便可以从前向传感器304例如麦克风、扬声器等处捕捉数据。

在框420中，如果根据从侧向传感器306捕捉的侧向数据检测到例如笔或手指的控制物件，则可以将侧向数据与从前向传感器304捕捉的前向数据进行时间同步，因此创建一个签名。在实施例中，可能存在从前向传感器304到侧向传感器306的过渡区域，使得可不存在由所述装置302作出的响应的任何不连贯，也就是说，可以在所述传感器之间提供无缝响应，使得由控制物件进行的连续输入可以在装置302上引起一致的动作。在这种情况下，不同的传感器或技术，例如，前向传感器304和侧向传感器306可以感测到由控制物件进行的相同输入(例如无触摸手势)。因此，当使控制物件从一个区域移动到另一个区域时，例如从装置302的前面移动到侧面时，传感器输入(例如，304、306、308)可以被同步，使得实现无缝的用户体验。

在框422中，确定是否从前向数据检测到例如笔或手指的控制物件。如果从前向数据检测到例如笔或手指的控制物件，则系统返回到框404，使得可从前向传感器304捕捉到数据。

在框422中，如果从前向数据，例如前向传感器304捕捉的数据，未检测到例如笔或手指的控制物件，则确定从侧向数据是否检测到例如笔或手指的控制物件。如果是，则侧向手势运动可以作为前向手势运动的继续而被传递到用户界面输入。

在一或多个实施例中，当在例如从前向传感器304到侧向传感器306的过渡区域中检测到控制物件时，侧向传感器306可以检测所述控制物件是否在其检测区域中。在其它实施例中，前向传感器304可以确定控制物件的位置且接着确定所述控制物件是否正进入过渡区域，其可以是在前向传感器304可以检测到控制物件之处的边缘处，或在前向传感器304和侧向传感器306重叠的区域中。在其他实施例中，基于确定所述控制物件的位置或基于运动的确定，例如确定所述控制物件是否正在以有可能进入侧向传感器306的检测区域的方式(在过渡区域中或朝向过渡区域)而移动，侧向传感器306可被选择性地开启或关闭。此确定可以基于控制物件的速度、由当前正在运行的应用程序预期的输入的类型、根据过去的用户交互而学习到的数据等等。

现在参照图5，图中示出了根据本发明的实施例的超出用户装置的屏幕而继续触摸动作。

用户502可以例如通过将手指放放在用户装置504的屏幕上而开始触摸动作，其可被用户装置504的触摸传感器检测到。例如，这样的触摸动作可以是为了滚动列表的目的。方便地，用户502可以继续滚动超出用户装置502的屏幕，使得当用户手指按照如参考符号506所示的向上方向移动时，从触摸传感器切换至用户装置504的屏外手势检测传感器。从经配置以检测触摸动作的触摸传感器到经配置以检测屏外手势的屏外手势检测传感器，作出了平滑的过渡，所述屏外手势可在用户装置504屏幕的视线之外。在这方面，从触摸传感器到屏外手势检测传感器的过渡区域可在用户装置504的屏幕的边缘附近，或在可被检测到屏外手势的检测区域内，或在用户装置504的屏幕的指定的距离内，例如的1厘米内，等等。在实施例中，例如触摸动作和屏外手势的用户输入可以被组合。在另一实施例中，基于传感器的类型等，用户输入可以选择性地被开启或关闭。

在各种实施例中，屏外手势检测和跟踪可以通过使用例如定位于所述用户装置中的一或多个边缘的广角图像捕捉装置(例如，相机)、超声波等技术来完成。如图5的实施例所示，用户在用户装置上的持续手势可被检测到，如参考符号506所示，此用户装置可继续影响屏上内容。停止所述手势可以停止对所述内容的影响。任选地，用户的脱离手势可以被检测到，其可以停止当前手势的跟踪。

通过手势继续的触摸动作可用于影响内容的各种目的，例如滑动、滚动、平移、缩放等。

根据本发明的一或多个实施例，各种技术可以经由传感器融合用于扩展交互式输入。在这方面，任何手势技术可以与触摸输入技术相组合。这些技术可以包括，例如，从屏幕上到一或多个侧面的超声波控制物件检测技术；从屏幕上到一或多个侧面的基于视觉的检测技术；从屏上触摸检测技术到屏外超声波手势检测；从屏上触摸检测技术到基于视觉的屏外手势检测等。在各种实施例中，屏上检测可以包括对控制物件(例如触摸用户装置触摸屏的一根手指或多根手指)的检测。在一些实施例中，触摸屏可以检测物件，例如手写笔或特别包覆的手套。在一或多个实施例中，屏上可能并不一定意味着用户必须触摸所述装置。例如，基于视觉的传感器和/或与超声波传感器的组合可以被用于检测物件，如手、手指、手势等，并继续跟踪屏外的物件，其中传感器之间的切换对用户呈现为无缝的。

现在参考图6，图中示出了根据本发明的一个实施例的超出用户装置屏幕范围而继续触摸动作。

在图6所示的实例中，用户可以进行视频游戏，例如，愤怒的小鸟。用户想要将小鸟瞄准障碍物。用户用手指602触摸用户装置604的屏幕去选择游戏所呈现的弹弓。然后，用户将弹弓往后拉并继续拉弹弓到屏外，如参考符号606所示，以找到正确的角度和/或距离以便收缩游戏元素，同时保持拇指和食指一同按压或距离很近。一旦用户找到正确的角度或屏外的收缩量，用户可以分开他的拇指和食指。经配置以检测装置604边缘附近的输入的一或多个传感器(例如图6所示的装置604的左侧边缘的相机)可以检测手指的位置和其中拇指和食指被分开的点。当所述分开被检测到时，可以向障碍物释放所述游戏元素。

现在参考图7，图中示出了根据本发明的实施例的超出用户装置屏幕范围而继续触摸动作。

在图7所示的此实例中，用户可能希望从用户装置704的屏幕上显示的地图上找到一个位置。用户可以在地图的预期缩放区域内放置两个手指702。然后，如参考符号706所示，用户移动手指702使彼此远离从而进行缩放。用户可以继续进行屏外交互，直至获得预期的缩放。

现在参考图8，示出了根据本发明的一个实施例的一种用于跟踪控制物件的移动的方法的流程图。在各种实施例中，图8的方法可以通过系统或装置来执行，例如，图1、2、3、5、6、7或9中分别所示的装置104、204、304、504、604、704或1500。

在框802中，系统可以对触摸交互作用做出响应。例如，系统可以对放置在屏幕上的手指做出响应，即触摸用户装置(例如图6的装置604或图7的装置704)的屏幕。

在框804中，传感器可以被激活。例如，当用户将手指移向屏幕边框(触摸)时，用户装置上的超声波传感器可以被激活。例如，如图6所示，传感器(例如定位于装置604左侧的超声波传感器)可以响应于检测用户的手指移向装置604的屏幕左侧而被激活。

在框806中，用户设备的一或多个表面上的传感器检测屏外移动。例如，定位于用户设备的一侧上的一或多个超声波传感器可以随着用户移动手指到屏外(悬停)来检测屏外移动。在一个实施例中，定位于图6的设备604的左侧上的传感器可以检测用户其手指的屏外移动。

在框808中，可以停止手指屏外移动的检测。在这点上，用户可以点击屏外以结束屏外交互。在其他实施例中，当检测到脱离手势或运动时，例如闭合打开的手、打开闭合的手，或者在基本上沿着如用户设备的屏幕的平面那样的平面运动(例如，平移、缩放等)的情况下移动手离开平面等时，可以停止屏外检测。

在各种实施例中，系统可以响应另一触摸交互。例如，用户可以返回以接触屏幕。

现参考图9，示出根据本发明的一个实施例的用于实现设备的系统的框图。

应当理解，此处公开的方法和系统可以通过各种各样的电子系统或设备来实施、或并入到各种各样的电子系统或设备。例如，系统1500可以用于实施任何类型的包括有线或无线设备在内的设备，例如移动设备、智能电话、个人数字助理(PDA)、平板、膝上型计算机、个人计算机、电视机等。其他典型的电子系统，例如音乐播放器、视频播放器、通信设备、网络服务器等，也可以根据本发明配置。

系统1500可以适用于实施本发明的实施例，包括这里在各附图中示出的用户设备104、204、302、504、604、704。系统1500，例如设备的一部分，比如智能电话、平板、个人计算机和/或网络服务器，包括总线1502或其它通信机构，用于传输信息以及互连子系统和组件，这些组件包括一或多个处理组件1504(例如，处理器、微控制器、数字信号处理器(DSP)等)、系统存储器组件1506(例如，RAM)、静态存储组件1508(例如，ROM)、网络接口组件1512、显示组件1514(或可替换地，外部显示器的接口)、输入组件1516(例如，小键盘或键盘、交互式输入组件，例如触摸屏、手势辨识等)以及光标控制组件1518(例如，鼠标板)。

依照本发明的实施例，系统1500通过处理组件1504执行具体操作，处理组件1504执行包含在系统存储器组件1506中的一或多个指令的一或多个序列。这样的指令可以从另一计算机可读媒体例如静态存储组件1508被读取到系统存储器组件1506。这些可以包括用来经由传感器融合等扩展交互的指令。当在从一个传感器平滑切换到另一个传感器的过渡区域内检测到用户输入数据时，例如由第一传感器可以检测到的用户输入数据(例如，通过触摸屏可以检测到的触摸动作，或者可以经由通过输入组件1516实现的手势辨识传感器检测到的屏上手势)，可以通过处理组件1504而与由第二传感器检测到的用户输入数据(例如，可以经由通过输入组件1516实现的手势辨识传感器而检测到的屏外手势)同步或组合。在这点上，处理组件1504也可以实现控制器，所述控制器可以确定何时将传感器打开或关闭(如上所述)，和/或物件何时处于过渡区域之内，和/或何时在传感器之间切换控制物件。在一些实施例中，输入组件1516包括或用于实施传感器304、306、308中的一或多个。在其它实施例中，硬连线电路可以用来代替或组合到软件指令以实施一或多个本发明的实施例。

逻辑可在计算机可读媒体中被编码，所述计算机可读媒体可以指参与了向处理组件1504提供指令用于执行的任何媒体。这种媒体可采取多种形式，包括但不局限于非易失性媒体、易失性媒体以及传输媒体。在各种不同的实施方式中，易失性媒体包括动态存储器，例如系统存储器组件1506，且传输媒体包括同轴电缆、铜线以及光纤，包括包含总线1502的导线。在实施例中，传输媒体可以采取声波或光波的形式，例如在无线电波和红外数据通信期间产生的那些。一些常见形式的计算机可读媒体包括，例如，RAM、PROM、EPROM、快闪EPROM、任何其他存储器芯片或盒式磁带、载波或计算机适于读取的任何其他媒体。计算机可读媒体可以是非暂时的。

在本发明的各种不同的实施例中，用来实践本发明的指令序列的执行，可以由系统1500进行。在各种不同的其他实施例中，由通信链路1520耦接的多个系统1500(例如Wi-Fi或各种不同的其他有线或无线网络)可以彼此协作地执行指令序列以实施本发明。系统1500可以通过通信链路1520和网络接口组件1512接收并扩展输入、消息、数据、信息以及指令，包括一或多个程序(即，应用代码)。接收到的程序代码可以在被接收和/或存储在磁盘驱动器组件1510或一些其他非易失性存储组件中用于执行时，由处理组件1504来执行。

现在参照图10，流程图示出根据本发明的实施例的用于扩展交互式输入的方法。应当理解，图10所示的方法可以由图9所示的系统1500实现，系统1500可以根据一或多个实施例实现在本文相应附图中示出的用户装置104、204、302、504、604、704中的任一个。

在框1002中，系统，例如图9所示的系统1500，可以用第一传感器检测由控制物件进行的输入的至少一部分。系统1500的输入组件1516可以实现经配置以检测通过控制物件的用户输入(包括在显示组件1514例如用户装置的屏幕上的触摸动作)的一或多个传感器，或手势辨识传感器(例如，超声的)。在各种不同的实施例中，用户装置可以包括定位于用户装置的不同表面上的一或多个传感器，例如，在前部中、在侧面上、在顶部上、在背面上等等(例如，通过图3的实施例的用户装置302上的传感器304、306、308所示的)。控制物件可以包括用户的手、手指、笔等等，其可以通过由输入组件1516实现的一或多个传感器检测。

在框1004中，系统可以确定控制物件定位于过渡区域中。处理组件1504可以确定检测到的输入数据指示控制物件定位于过渡区域内，例如，当检测到控制物件在用户装置的边缘附近，或者在用户装置的屏幕的指定距离偏移量内(例如，在1cm内)时。过渡区域可以包括这样的区域，其中在从一个传感器切换至另一传感器的期间，对输入的精确解析是连续的。在一些实施例中，过渡区域也可以定位于距离装置的屏幕一定距离处，例如在具有短量程的传感器切换到具有较长量程的传感器的地方。

在框1006中，系统可以至少部分地基于控制物件放置在过渡区域中的确定，来确定是否用第二传感器检测同一输入的后续部分。在实施例中，处理组件1504可以确定检测到过渡区域中用户输入的后续部分，例如，控制物件的移动。因此，通过输入组件1516实现的手势检测传感器可以用于检测屏外手势从而以平滑的方式继续输入。

正如本领域技术人员现在应当理解的，且视手边的具体应用而定，在不脱离本发明的精神和范围的情况下，可以对具有本发明装置的用途的材料、设备、构型和方法做许多修改、替代以及变化。鉴于此，本发明的范围不应所述局限于本文中所说明及描述的具体实施例的范围，因为它们仅仅是一些实例，而应所述与后文所附权利要求和它们的功能性等同内容的范围相匹配。

Claims (37)

1.一种方法，其包括：

用第一传感器检测由控制物件进行的输入的至少一部分；

确定所述控制物件定位于过渡区域内；以及

至少部分地基于所述控制物件定位于所述过渡区域内的所述确定来确定是否用第二传感器来检测所述同一输入的后续部分。

2.根据权利要求1所述的方法，其中所述过渡区域进一步包括如下区域：在从至少所述第一传感器切换到所述第二传感器期间存在针对输入的连续精确解析。

3.根据权利要求1所述的方法，其中：

所述检测包括通过用户装置捕捉屏上输入数据；且其中所述方法进一步包括：

在确定用所述第二传感器来检测所述输入的所述后续部分时，使所述屏上输入数据与屏外数据组合，以提供无缝的用户输入。

4.根据权利要求3所述的方法，其中所述捕捉所述屏上输入数据进一步包括捕捉屏幕上方的无触摸手势输入数据，并且所述屏外数据进一步包括屏外无触摸手势输入数据，其中所述方法进一步包括使所述屏幕上方所捕捉的所述无触摸手势输入数据与所述屏外无触摸手势输入数据同步。

5.根据权利要求3所述的方法，其中所述捕捉所述屏上输入数据进一步包括捕捉屏上触摸输入数据，并且所述屏外数据进一步包括无触摸手势数据，所述方法进一步包括：经由使所述屏上触摸输入数据与所述无触摸手势数据组合来控制动作。

6.根据权利要求5所述的方法，其中所述使所述屏上触摸输入数据与所述无触摸手势数据组合创建一个连续命令。

7.根据权利要求1所述的方法，其进一步包括：在确定所述控制物件定位于所述过渡区域内之后便启动屏外手势检测。

8.根据权利要求7所述的方法，其中所述屏外手势检测进一步包括使用超声波或用户装置的一或多个边缘上的一或多个广角图像捕捉装置。

9.根据权利要求8所述的方法，其进一步包括使用所述用户装置上的触摸屏或前向图像传感器来捕捉屏上输入数据。

10.根据权利要求1所述的方法，其进一步包括在所述控制物件定位于所述过渡区域内同时，使用所述第一传感器和所述第二传感器两者来检测来自所述控制物件的输入。

11.根据权利要求1所述的方法，其中所述检测进一步包括通过用户装置捕捉屏外输入数据；且其中所述方法进一步包括：

在确定用所述第二传感器来检测所述输入的所述后续部分时，使所述屏外输入数据与屏上数据组合，以提供无缝的用户输入。

12.根据权利要求11所述的方法，其中所述捕捉所述屏外输入数据进一步包括捕捉屏外无触摸手势输入数据，并且所述屏上数据进一步包括屏上无触摸手势输入数据，其中所述方法进一步包括使所述屏外无触摸手势输入数据与所述屏上无触摸手势输入数据同步。

13.一种系统，其包括：

多个传感器，其经配置以检测一或多个输入；

一或多个处理器；以及

一或多个存储器，其适于存储多个机器可读指令，所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：

用所述多个传感器中的第一传感器检测由控制物件进行的输入的至少一部分；

确定所述控制物件定位于过渡区域内；以及

至少部分地基于所述控制物件定位于所述过渡区域内的所述确定来确定是否用所述多个传感器中的第二传感器来检测所述输入的后续部分。

14.根据权利要求13所述的系统，其中所述过渡区域进一步包括如下区域：在从至少所述第一传感器切换到所述第二传感器期间具有针对输入的连续精确解析。

15.根据权利要求13所述的系统，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：

用所述第一传感器捕捉屏上输入数据；以及

在确定用所述第二传感器来检测所述输入的所述后续部分时，使所述屏上输入数据与用所述第二传感器捕捉的屏外输入数据组合，以提供无缝的输入。

16.根据权利要求15所述的系统，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：使用用户装置的触摸屏或前向传感器来捕捉所述屏上输入数据。

17.根据权利要求15所述的系统，其中所述屏上输入数据进一步包括在屏幕上方捕捉的无触摸手势输入数据，并且所述屏外输入数据进一步包括屏外无触摸手势输入数据，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：使在所述屏幕上方捕捉的所述无触摸手势输入数据与所述屏外无触摸手势输入数据同步。

18.根据权利要求15所述的系统，其中所述屏上输入数据进一步包括屏上触摸输入数据，并且所述屏外输入数据进一步包括无触摸手势数据，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：经由使所述屏上触摸输入数据与所述无触摸手势数据组合来控制动作。

19.根据权利要求18所述的方法，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：通过所述使所述屏上触摸输入数据与所述无触摸手势数据组合来创建一个连续命令。

20.根据权利要求13所述的系统，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：在确定所述控制物件定位于所述过渡区域内之后便启动屏外手势检测。

21.根据权利要求20所述的系统，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：在通过使用超声波或用户装置的一或多个边缘上的一或多个广角图像捕捉装置确定所述控制物件定位于所述过渡区域内之后，便启动所述屏外手势检测。

22.根据权利要求13所述的系统，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：在所述控制物件定位于所述过渡区域内同时，使用所述第一传感器和所述第二传感器两者来检测来自所述控制物件的输入。

23.根据权利要求13所述的系统，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：

用所述第一传感器捕捉屏外输入数据；以及

在确定用所述第二传感器检测所述输入的所述后续部分时，使所述屏外输入数据与用所述第二传感器捕捉的屏上数据组合，以提供无缝的用户输入。

24.根据权利要求23所述的系统，其中所述屏外输入数据进一步包括屏外无触摸手势输入数据，并且所述屏上数据进一步包括屏上无触摸手势输入数据，其中所述多个机器可读指令在由所述一或多个处理器执行时适于使所述系统：使所述屏外无触摸手势输入数据与所述屏上无触摸手势输入数据同步。

25.一种设备，其包括：

用于检测由控制物件进行的输入的至少一部分的第一装置；

用于确定所述控制物件定位于过渡区域内的装置；以及

用于至少部分地基于所述控制物件定位于所述过渡区域内的所述确定来确定是否用用于检测的第二装置来检测所述同一输入的后续部分的装置。

26.根据权利要求25所述的设备，其中所述过渡区域进一步包括如下区域：在从至少所述用于检测的第一装置切换到所述用于检测的第二装置期间具有针对输入的连续精确解析。

27.根据权利要求25所述的设备，其中：

所述用于检测的第一装置进一步包括用于捕捉屏上输入数据的装置；并且所述设备进一步包括用于在确定用所述用于检测的第二装置来检测所述输入的所述后续部分时，使所述屏上输入数据与屏外数据组合以提供无缝的用户输入的装置。

28.根据权利要求27所述的设备，其中所述用于捕捉所述屏上输入数据的装置进一步包括用于在屏幕上方捕捉无触摸手势输入数据的装置，并且所述屏外数据进一步包括屏外无触摸手势输入数据，其中所述设备进一步包括用于使所述无触摸手势输入数据与所述屏外无触摸手势输入数据同步的装置。

29.根据权利要求27所述的设备，其中所述用于捕捉所述屏上输入数据的装置进一步包括用于捕捉屏上触摸输入数据的装置，并且所述屏外数据进一步包括无触摸手势数据，所述设备进一步包括：用于经由使所述屏上触摸输入数据与所述无触摸手势数据组合来控制动作的装置。

30.根据权利要求29所述的设备，其进一步包括用于通过使用用于使所述屏上触摸输入数据与所述无触摸手势数据组合的装置来创建一个连续命令的装置。

31.根据权利要求25所述的设备，其进一步包括用于在确定所述控制物件定位于所述过渡区域内之后便启动用于检测屏外手势的装置的装置。

32.根据权利要求31所述的设备，其中所述用于检测屏外手势的装置进一步包括使用超声波或用户装置的一或多个边缘上的一或多个广角图像捕捉装置。

33.根据权利要求32所述的设备，其进一步包括用于使用用户装置上的触摸屏或前向传感器捕捉屏上输入数据的装置。

34.根据权利要求25所述的设备，其中在所述控制物件位于所述过渡区域内同时，使用所述用于检测的第一装置和所述用于检测的第二装置两者来检测来自所述控制物件的输入。

35.根据权利要求25所述的设备，其中：

所述用于检测的第一装置进一步包括用于捕捉屏外输入数据的装置，并且所述设备进一步包括：

用于在确定用所述用于检测的第二装置来检测所述输入的所述后续部分时，使所述屏外输入数据与屏上数据组合以提供无缝的用户输入的装置。

36.根据权利要求35所述的设备，其中所述用于捕捉所述屏外输入数据的装置进一步包括用于捕捉屏外无触摸手势输入数据的装置，且所述屏上数据进一步包括屏上无触摸手势输入数据，其中所述设备进一步包括用于使所述屏外无触摸手势输入数据与所述屏上无触摸手势输入数据同步的装置。

37.一种非暂时性计算机可读媒体，其上存储计算机可读指令，所述计算机可读指令在由处理器执行时使所述处理器：

用第一传感器检测由控制物件进行的输入的至少一部分；

确定所述控制物件定位于过渡区域内；以及

至少部分地基于所述控制物件定位于所述过渡区域内的所述确定来确定是否用第二传感器来检测所述输入的后续部分。