CN105190644B - 用于使用触摸控制的基于图像的搜索的技术 - Google Patents

用于使用触摸控制的基于图像的搜索的技术 Download PDF

Info

Publication number
CN105190644B
CN105190644B CN201380068663.0A CN201380068663A CN105190644B CN 105190644 B CN105190644 B CN 105190644B CN 201380068663 A CN201380068663 A CN 201380068663A CN 105190644 B CN105190644 B CN 105190644B
Authority
CN
China
Prior art keywords
image
user interface
touch
gesture
interface element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380068663.0A
Other languages
English (en)
Other versions
CN105190644A (zh
Inventor
J·朱
H·民
N·P·胡
Y·朱
Z·N·于
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105190644A publication Critical patent/CN105190644A/zh
Application granted granted Critical
Publication of CN105190644B publication Critical patent/CN105190644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了用于使用触摸控制的基于图像的搜索的技术。装置可以包括：处理器电路；手势组件，其在处理器电路上操作以从显示图像的触敏屏幕接收手势信息并生成与手势信息对应的选择区域；捕获组件，其在处理器电路上操作以提取图像中与选择区域对应的图像部分；以及搜索组件，其在处理器电路上操作以使用提取的图像部分而执行基于图像的搜索。描述和要求保护其它实施例。

Description

用于使用触摸控制的基于图像的搜索的技术
背景技术
基于触摸的设备，诸如智能电话、个人数字助理(PDA)和平板正越来越多地用于多种多样的任务。特别地，通过将屏幕用于输入和输出二者而使得可能的相对大的屏幕尺寸已经使得在基于触摸的设备上观看媒体成为实际且流行的。然而，之前使用键盘和/或鼠标执行的任务在基于触摸的设备上可能没有清楚的相似情况。并行地，基于图像的搜索已经发展成日益流行的工具。基于图像的搜索允许用户使用图像，而不是文本，作为用于因特网搜索的基础。然而，基于图像的搜索依赖于键盘和鼠标控制用于其实现，使得其在移动设备上不可用或不便利。因而，用于使用触摸控制的基于图像的搜索的解决方案是合期望的。正是关于这些以及其它的考虑而需要本改进的。
附图说明
图1图示了用于使用触摸控制的基于图像的搜索的系统的实施例。
图2图示了用于在计算设备上的视频回放的示例接口。
图3图示了在图2的计算设备上对基于触摸的命令的示例接收。
图4图示了基于图3的基于触摸的命令的选择区域的生成。
图5图示了选择区域的生成的第二视图。
图6图示了图像部分的提取。
图7图示了使用所提取的图像部分的搜索结果的生成。
图8图示了在图2的计算设备上的对基于触摸的命令的第二示例接收。
图9图示了基于图8的基于触摸的命令的选择区域的生成。
图10图示了用于在计算设备上的视频回放的第二示例接口。
图11图示了在图10的第二示例接口上的选择区域。
图12图示了图像部分的提取，其中从图像部分中排除叠覆的用户接口元素。
图13图示了用于图1的系统的逻辑流的实施例。
图14图示了计算架构的实施例。
图15图示了通信架构的实施例。
具体实施方式
各种实施例目的在于用于使用触摸控制的基于图像的搜索的技术。传统的、基于文本的因特网搜索取一个或多个文本字段作为其用户输入，它将所述文本字段用于生成其搜索结果。相反，基于图像的因特网搜索取图像作为其用户输入中的至少一个，它将所述图像用于生成其搜索结果。仅图像的因特网搜索是将图像用作用于其搜索的仅有用户输入的因特网搜索。在该上下文中，“用户输入”指的是由用户，或者从另一个视角，由代表用户而起作用的应用提交到搜索系统的信息。这区别特定于给定用户的搜索的输入与一般由搜索系统使用的、系统从其得到其搜索结果的关于因特网资源而收集的信息。由于搜索系统已经引入了基于图像的搜索并扩展了其有用性，用户已经对执行基于图像的搜索产生了日益增加的兴趣。
随着智能电话、平板和PDA的上涨的流行性，用户越来越多地在触敏屏幕上通过使用基于触摸的控制而执行多种多样的任务。基于触摸的控制是这样的用户控制：其中应用通过用户在操作以检测用户触摸的计算设备的一部分上按压一个或多个手指来接收用户命令。典型的用户输入包括一个或多个轻击和划刷(swipe)，其中轻击对应于不滑动跨过计算设备的触敏部分的按压，并且划刷对应于滑动跨过计算设备的触敏部分的按压。触敏屏幕是能够将相同的表面既用作显示器又用作触敏输入端的硬件组件。通过将输入和输出组合到相同表面中，能够使得用于输入和输出中每一个的面积比如果二者未重叠的情况下更大。此外，由于用户通过使用显示器而录入命令，命令的轻击和划刷的定位可以直接对应于用户接口元素和所显示内容的屏幕上定位。因而，基于触摸的用户命令可以以响应于它们之下显示的内容的方式进行解释。
具有触敏屏幕的设备的相对大的显示区域使得它们对于显示媒体内容(诸如静止图像和视频)是特别适当和流行的。此外，观看这样的内容的用户可以期望接收关于所显示的图像或视频的某个元素的信息。然而，现有接口并不充分适于向用户提供这样的功能性。因而，合期望的是具有单个用户命令来选择所显示的图像或视频的一部分并自动地实例化基于图像的搜索。这样的命令使图像或视频的观看者能够容易地请求关于所显示的图像或视频的一部分的更多信息。结果，实施例能够改进具有触敏屏幕的设备的效用。
一般地参考本文所用的符号和命名，下面的详细描述可以在计算机或计算机网络上执行的程序过程方面来呈现。本领域技术人员使用这些过程性描述和呈现以将他们的工作的实质最有效地传达给本领域其他技术人员。
过程在此并且一般地被设想成导致所期望的结果的操作的自相一致的序列。这些操作是需要对物理量进行物理操纵的那些操作。通常，尽管不是必要地，这些量采取能够被存储、传递、组合、比较和以其它方式操纵的电学、磁性或光学信号的形式。主要出于常见使用的原因，将这些信号称为位、值、元素、符号、字符、项、数字等有时经证明是便利的。然而，应当注意的是，所有这些和类似的术语将与适当的物理量相关联并且仅仅是应用到那些量的便利标签。
此外，经常用通常与人类操作员执行的智力操作相关联的术语(诸如添加或比较)来提及所执行的操纵。在本文描述的、形成一个或多个实施例的部分的任何操作中，没有任何这样的人类操作员能力是必要的或在大多数情况下合期望的。相反，操作是机器操作。用来执行各种实施例的操作的有用机器包括通用数字计算机或类似设备。
各种实施例还涉及用于执行这些操作的装置或系统。该装置可以是为所需目的而特别构造的或者它可以包括如由存储在计算机中的计算机程序选择性地激活或重配置的通用计算机。本文呈现的过程并不固有地有关于特定计算机或其它装置。可以在根据本文的教导所编写的程序的情况下使用各种通用机器，或者构造更专门化的装置用于执行所需方法步骤可以经证明是便利的。用于各种的这些机器的所需结构将从给定的描述中显现。
现在参考附图，其中同样的参考标号贯穿全文用于指代同样的元件。在下面的描述中，出于解释的目的，阐述了众多特定的细节以便提供其透彻的理解。然而，可以显然的是，可以在没有这些特定细节的情况下实践新颖的实施例。在其它实例中，为了便于其描述，众所周知的结构和设备以框图形式示出。意图是覆盖与要求保护的主题一致的所有修改、等同物和替换方案。
图1图示了用于使用触摸控制的基于图像的搜索的系统100的框图。在一个实施例中，系统100可以包括计算机实现的系统100，所述计算机实现的系统100包括一个或多个组件。尽管图1中所示的系统100具有以某个拓扑的有限数目的元件，但是可以领会的是，在可替换的拓扑中系统100可以包括更多或更少的元件，如对于给定的实现所期望的那样。
系统100可以包括触敏屏幕105。触敏屏幕105通常可以操作成在相同表面上既向用户显示输出又从用户接收触摸命令。触敏屏幕105可以操作成接收图像113以用于显示在屏幕上并且将图像113显示为整个显示区域或者显示在显示区域的一部分中。触敏屏幕105可以操作成检测定位于触敏屏幕105的表面上的对象，诸如人类手指。触摸命令可以包括一个或多个触摸点，所述触摸点对应于系统100的用户在触敏屏幕105上的一个或多个基本上同时的手指按压的位置。触摸命令可以包括一个或多个触摸点跨触敏屏幕105的一个或多个基本上同时的划刷。触敏屏幕105可以操作成基于所检测的触摸命令而提供手势(gesture)信息107。
系统100可以包括显示组件110。显示组件110通常可以操作成在触敏屏幕105上显示图像113。在触敏屏幕105上显示图像113的显示组件110对应于将图像113传输到触敏屏幕105以供显示(作为一部分或整个的触敏屏幕105显示)的显示组件110。在一些实施例中，图像113可以包括来自视频的帧，图像113呈现为视频回放的部分。视频的回放可以由应用或运行在应用(诸如web浏览器)内的插件来实施，应用或插件在触敏屏幕105上呈现视频。
系统100可以包括手势组件120。手势组件120通常可以操作成从显示图像113的触敏屏幕105接收手势信息107。手势组件120可以操作成基于接收的手势信息107而识别抓取(scratch)手势。手势组件120可以操作成生成与手势信息107对应的选择区域125。手势组件120可以操作成生成与抓取手势对应的选择区域125。
抓取手势指的是特定的基于触摸的用户命令，其指示这样的用户意图：将图像113的一部分用作用于基于图像的搜索的输入。在各种实施例中，指示屏幕区域的不同的基于触摸的用户命令可以用作抓取手势。然而，在一些实施例中，抓取手势可以包括跨触敏屏幕105向下的多个触摸点的基本上平行、基本上同时的划刷。如果触摸点的行进路径不以超过预定义阈值(诸如5°、10°、25°或30°)的角度而不同，那么触摸点的划刷可以说成是基本上平行的。由于作为用户拖拉手指跨过触敏屏幕105的结果，给定划刷在一段时间上发生。如果在其期间记录了多个划刷的多个时间段彼此重叠，那么多个触摸点的划刷可以说成是基本上同时的。如果每个触摸点的行进路径对应于从触敏屏幕105的顶部到底部的、在预定义阈值(诸如5°、10°、25°或30°)内的方向，那么多个触摸点的划刷可以说成是向下的。将领会到，由于一些触敏设备虑及以各种取向进行观看，所以对应于触敏屏幕105的顶部和底部的方向可以取决于设备的取向。通常，计算设备220的顶部可以对应于视频220上方的设备的侧边。
选择区域125表示对于捕获用户手势所意图的主体的企图。在一些实施例中，选择区域125可以包括矩形。矩形可以是对抓取手势进行划界的最小化的矩形。在一些实施例中，触摸点的划刷中的每一个可以由一对点表示，其中每个点包括x坐标和y坐标。这对点可以对应于针对每个划刷的起始和结束所记录的触摸点。最小化的矩形可以计算为横贯(traverse)对触摸点的划刷进行最小程度划界的触敏屏幕105的部分。最小化的矩形的水平范围从用于多个划刷的点对的多个x坐标中的最小x坐标跨越到所述多个中的最大x坐标。最小化的矩形的竖直范围从用于多个划刷的点对的多个y坐标中的最小y坐标跨越到所述多个中的最大y坐标。
系统100可以包括捕获组件130。捕获组件130通常可以操作成提取图像113中与选择区域125对应的图像部分135。图像部分135包含了在选择区域125内所包含的图像113的部分。
系统100可以包括搜索组件140。搜索组件140通常可以操作成使用所提取的图像部分135而执行基于图像的搜索。基于图像的搜索可以产生搜索结果145，搜索结果145可以被传输到显示组件110以用于在触敏屏幕105上显示给用户。
图2图示了用于计算设备上的视频回放的示例接口。如图2中所示，具有触敏屏幕105的计算设备210正显示对着闪电风暴的背景而站立的机器人的视频220。参考图1，视频220的帧可以对应于如从显示组件110传输到触敏屏幕105的图像113。与视频220相关联的是用户接口元素230，包括前一视频按钮237和下一视频按钮233。如所图示的，用户接口元素230没有与所显示的视频220重叠，而是相反定位于它的下方。
在一些实例中，视频220可以包括由计算设备210上的媒体应用所回放的视频。在其它的中，视频220可以包括由因特网应用(诸如web浏览器)的媒体插件回放的视频。因而，在一些实例中，视频220可以是本地存储的视频并且在其它实例中视频220可以是通过因特网接收的视频流。通过因特网接收的视频可以经由通过因特网接收视频的任何已知方法接收，诸如通过有线连接、无线连接或蜂窝数据连接。
在一些实施例中，计算设备210可以包括移动设备，诸如移动电话、智能电话或平板。在一些实施例中，计算设备210可以包括非移动的桌面设备，诸如具有触敏屏幕105的个人计算机或媒体器具。
将领会到，所描绘的包括用户接口元素230的用户接口仅仅是一种可能的用户接口并且所讨论的技术适合于各种用户接口元素和布局。
图3图示了在图2的计算设备上对基于触摸的命令的示例接收。如图3中所示，用户已经执行了抓取手势310，抓取手势310包括多个、特别地为三个触摸点(313、315和317)的基本上平行、基本上同时的划刷。如可以看到的，抓取手势310一般与所描绘的机器人的位置对应，并且由此传送用户对于执行所描绘机器人的基于图像的搜索的期望。
在各种实施例中抓取手势的性质可以变化。通常，抓取手势可以包括对用于基于图像的搜索的触敏屏幕105的特定区域进行指示的任何手势。通常，接收的手势信息107可以包括单独地和/或以群组而组织的多个触摸点。单独的触摸点可以对应于表示在触敏屏幕105上的单个按压而不是划刷的触摸点。经群组的触摸点可以对应于共同表示跨触敏屏幕105的划刷的多个触摸点，以使得所述多个触摸点描述与跨触敏屏幕105的划刷对应的线或路径。
图4图示了基于图3的基于触摸的命令的选择区域125的生成。如图4中所示，选择区域410已经被确定为对抓取手势310进行划界。选择区域410是对抓取手势310进行划界的最小化的矩形。在一些实施例中，触摸点的划刷中的每一个可以由一对点表示，其中每个点包括x坐标和y坐标。该对点可以对应于针对每个划刷的起始和结束而记录的触摸点。最小化的矩形可以计算为横贯对触摸点的划刷进行最小程度划界的触敏屏幕105的部分。最小化的矩形的水平范围从用于多个划刷的点对的多个x坐标中的最小x坐标跨越到所述多个中的最大x坐标。最小化的矩形的竖直范围从用于多个划刷的点对的多个y坐标中的最小y坐标跨越到所述多个中的最大y坐标。
通常，最小化的矩形可以对接收的手势信息107进行划界。如所讨论的，手势信息107可以包括多个触摸点。每个触摸点可以与x坐标和y坐标相关联。最小化的矩形可以计算为横贯对所述多个触摸点进行最小程度划界的触敏屏幕105的部分。最小化的矩形的水平范围从多个触摸点的多个x坐标中的最小x坐标跨越到所述多个中的最大x坐标。最小化的矩形的竖直范围从多个触摸点的多个y坐标中的最小y坐标跨越到所述多个中的最大y坐标。
图5图示了选择区域125的生成的第二视图。如图5中所示，手势组件120接收包括抓取手势310的手势信息107，所述抓取手势310由跨触敏屏幕105向下的多个触摸点313、315和317的基本上平行、基本上同时的划刷组成。基于手势信息107，手势组件120将选择区域410生成为对抓取手势310进行划界的最小化矩形。
图6图示了图像部分的提取。如图6中所示，捕获组件130接收显示在触敏屏幕105上的图像113和如从抓取手势310所确定的选择区域410。捕获组件130提取与选择区域410对应的图像113的部分以产生图像部分135，所述图像部分135包含在选择区域410内所包含的图像113的部分。如所示，用户已经从视频220中选择了图像113中描绘机器人的图像部分135。
图7图示了使用所提取的图像部分的搜索结果的生成。如图7中所示，搜索组件410接收由捕获组件130提取的图像部分135。搜索组件140从图像部分135构成基于图像的搜索查询715，如对于基于图像的搜索系统720所适当的那样。基于图像的搜索系统720可以包括操作成接收图像作为搜索项的任何可访问因特网的搜索系统。构成对于基于图像的搜索系统720所适当的基于图像的搜索查询715涉及生成包含图像部分135的、根据基于图像的搜索系统720的要求而格式化的查询。基于图像的搜索查询715被传输到基于图像的搜索系统720，诸如通过将基于图像的搜索查询715跨因特网传输到基于图像的搜索系统720。
响应于接收手势信息107而自动发起使用基于图像的搜索系统720的基于图像的搜索，所述手势信息107指示用户期望在所选区域上执行基于图像的搜索。所识别的用户命令的接收自动发起所选区域的标识、相关联的图像数据的提取、搜索的发起以及对用户的结果显示。通过简化发起基于图像的搜索的过程，从接收的手势自动发起该多步过程方便了用户。
基于图像的搜索查询715可以包括仅图像的因特网搜索。可替换地，基于图像的搜索查询715可以包括也包含文本信息的基于图像的因特网搜索。在一些实施例中，搜索组件140可以操作成包括与图像113或视频220相关的上下文信息，作为基于图像的搜索查询715的部分。与图像113相关的上下文信息可以包括正在显示的视频220的名称。例如，如果图像113是来自作为视频220而被呈现的电影“The Day the Earth Stood Still(1951)”的帧，那么可以包括文本“The Day the Earth Stood Still(1951)”作为基于图像的搜索查询715的一部分。
在一些实例中，可以从基于图像的搜索系统720请求一般的因特网或万维网搜索。然而，在其它实例中，可以使用专门的基于图像的搜索系统720。例如，诸如在从包括电影的视频220中提取图像113的情况下，可以使用电影特定的基于图像的搜索系统720以使得更特定地找到与电影、演员或电影的某种其它元素相关的信息。在一些实施例中，基于图像的、内容特定的搜索可以与一般因特网或万维网搜索并行地执行。例如，在一些实施例中，当正在显示的视频220是电影或故事片时，手势可以总是实例化基于图像的万维网搜索并且也实例化电影特定的、基于图像的搜索。在一些实施例中，当正在显示的视频220是电视节目时，手势可以总是实例化基于图像的万维网搜索并且也实例化电视特定的、基于图像的搜索。在这些实施例中，这些并行搜索的结果可以因此彼此并行地显示给用户。
作为响应，搜索组件140从基于图像的搜索系统720接收中间搜索结果725。中间搜索结果725包括基于图像的搜索系统720对基于图像的搜索查询715的响应。通常，中间搜索结果725将包括根据基于图像的搜索系统720的标准而格式化的一个或多个搜索结果的列表。搜索组件140操作成接收中间搜索结果725并根据系统100的标准将它们转化为搜索结果145。在一些实施例中，中间搜索结果725可以包括可以根据本领域中已知的各种技术进行解析和转化的HTML或XML格式化的结果。如参考图1所示，搜索组件140可以操作以将搜索结果145传输到显示组件110以供为用户而显示在触敏屏幕105上。
中间搜索结果725和搜索结果145可以包括多个搜索结果，所述搜索结果包括在因特网上找到的多个匹配图像。搜索结果145可以包括多个搜索结果，所述搜索结果包括在万维网上找到的多个网页。
图8图示了在图2的计算设备上对基于触摸的命令的第二示例接收。如图8中所示，用户已经执行了抓取手势810，所述抓取手势810包括多个、特别是三个触摸点(813、815和817)的基本上平行、基本上同时的划刷。如之前那样，抓取手势810一般与所绘机器人的位置对应并且从而传送对执行所绘机器人的基于图像的搜索的期望。然而，在该实例中抓取手势810已经向下延伸到了用户接口元素230中。尽管如此，用户不太可能意图在所绘机器人和一部分的用户接口元素230的组合上执行基于图像的搜索。代替地，用户很可能已经使抓取手势810延伸超过了他们所意图的选择，以使得除了机器人之外包括用户接口元素310的部分。
因而，将会合期望的是从生成的选择区域125中排除由抓取手势810所覆盖的用户接口元素310的部分。因此，在一些实施例中，图像113可以与用户接口元素230组合地显示，捕获组件130操作以从提取的图像部分135中排除用户接口元素230。
将领会到，如前面所讨论的，在一些实施例中发起基于图像的搜索的手势命令可以与所描绘的那个不同。尽管有该差异，系统100仍操作以排除与用户接口元素(诸如用户接口元素230)重叠的所得到的选择区域410的任何部分。还将领会到，系统100操作以排除与视频220共享屏幕的任何用户接口元素，无论那些元素是在视频220的下面、上面或者侧边。
将领会到，术语“用户接口元素”可以一般地用于指代控件和非图像或视频的内容二者。因而，除了排除与视频相邻的视频控件之外，系统100可以操作以排除与图像相邻的文本。例如，图像可以连同文本一起、诸如在网页中被呈现。在这些实例中，系统100可以操作成从选择区域410中排除文本——可以操作成将选择区域410限制为仅仅图像内容——当在图像内容上使用适当的手势时。
图9图示了基于图8的基于触摸的命令的选择区域910的生成。如图9中所示，选择区域910将自身限制成显示视频220的触敏屏幕105的部分，从而排除了用户接口元素230的任何部分。选择区域910的生成可以包括确定对抓取手势810进行划界的最小化的矩形并且然后裁剪最小化的矩形以完全处于视频220内。选择区域910的生成可以包括确定对抓取手势810进行划界的最小化的矩形并且然后裁剪最小化的矩形以排除用户接口元素230的任何部分。因而，捕获组件130通常可以操作成通过将选择区域910约束为与显示的图像130对应的触敏屏幕105的部分来排除用户接口元素230。
图10图示了用于计算设备上的视频回放的第二示例接口。如图10中所示，用户接口现在包括所叠覆的用户接口元素1015、1025和1035。用户接口元素1015是用于视频220的叠覆的倒回控件。用户接口元素1025是用于视频220的叠覆的暂停控件。用户接口元素1035是用于视频220的叠覆的快进控件。如所描绘的，用户将在用户接口元素1015、1025或1035之上对触敏屏幕105进行触摸，以便产生激活相应控件的触摸按压。将领会到，精确描绘的控件和它们的布局可以不同于描绘。
图11图示了在图10的第二示例接口上的选择区域。参考图3和图4，选择区域410是根据覆盖所绘机器人的抓取手势310而生成的。如图11中所示，选择区域410包括所绘机器人和快进用户接口元素1035。如在选择了用户接口元素230的一部分的情况下——参考图8、图9——很可能用户并不意图所请求的基于图像的搜索包括快进用户接口元素1035。因而，将会合期望的是从所生成的选择区域410中排除被抓取手势310覆盖的快进用户接口元素1035。然而，与用户接口元素230的排除不同，快进用户接口元素1035叠覆在视频220的顶部上并且不能通过裁剪所生成的选择区域410来排除。
图12图示了图像部分的提取，其中从图像部分135中排除所叠覆的用户接口元素。如图12中所示，视频220被呈递(render)到显示缓冲器1210中，所述显示缓冲器与用户接口叠覆1220组合以产生所组合的图像1230。将领会到，用户接口叠覆1220可以包括用于在显示的图像113或视频220上叠覆一个或多个用户接口元素的任何已知的方法。组合的图像1230对应于如图10和图11中所显示的视频220。
捕获组件130操作以从显示缓冲器1210检索图像部分135。给定叠覆显示图像113的用户接口元素1015、1025和1035，捕获组件130操作以通过从存储了没有叠覆的用户接口元素1015、1025和1035的图像113的显示缓冲器1210中提取图像部分135而排除用户接口元素1015、1025和1035。将领会到，捕获组件130可以操作成提取图像部分135而无论是否有任何用户接口元素叠覆在图像113的顶部上。从显示缓冲器1210提取图像部分135可以包括执行从显示缓冲器1210检索图像数据的请求，所述显示缓冲器1210诸如由图像或视频程序或者显示图像113或视频220的插件来维护的显示缓冲器1210。图像或视频程序或者插件可以将整个图像113返回至捕获组件130，捕获组件130然后操作以根据选择区域410而将图像113裁剪成图像部分135。
将领会到，如前面所讨论的，在一些实施例中发起基于图像的搜索的手势命令可以与所描绘的那个不同。尽管有该差异，系统100仍操作以从提取的图像部分135中排除任何叠覆的用户接口元素，诸如所描述的元素1015、1025和1035。将领会到系统100操作以这样做而无论叠覆的用户接口元素的特定功能性和布局。
图13图示了逻辑流1300的一个实施例。逻辑流1300可以表示由本文描述的一个或多个实施例所执行的操作的一些或全部。
在图13中示出的所图示的实施例中，在块1302处，逻辑流1300在触敏屏幕105中显示图像113。例如，图像113可以包括来自视频220的帧，图像113呈现为视频220的回放的部分。实施例并不限于该示例。
在块1304处，逻辑流1300可以从触敏屏幕105接收手势信息120。例如，手势信息120可以包括跨触敏屏幕105而划刷的多个触摸点。实施例并不限于该示例。
在块1306处，逻辑流1300可以基于所接收的手势信息120而识别抓取手势。例如，抓取手势可以包括跨触敏屏幕105向下的多个触摸点的基本上平行、基本上同时的划刷。实施例并不限于该示例。
在块1308处，逻辑流1300可以生成对应于手势信息的选择区域125。例如，选择区域125可以对应于所识别的抓取手势而生成。选择区域125可以确定为对由所接收的手势信息所覆盖的屏幕区域进行划界的最小化的矩形。因而，选择区域125可以确定为对抓取手势进行划界的最小化的矩形。实施例并不限于该示例。
在块1310处，逻辑流1300可以提取与抓取手势对应的图像113的图像部分135。例如，确定的选择区域125可以用于确定提取屏幕内容的什么部分。在一些实施例中，提取被包含在所确定的最小化矩形内的图像部分135。实施例并不限于该示例。
在块1312处，逻辑流1300可以通过使用所提取的图像部分135而执行基于图像的搜索以产生搜索结果145。例如，执行基于图像的搜索可以包括通过使用图像部分135而构成基于图像的搜索查询715，将所构成的基于图像的搜索查询715传输至基于图像的搜索系统720，以及接收被转化成搜索结果145的中间搜索结果725。实施例并不限于该示例。
在块1314处，逻辑流1300可以通过使用触敏屏幕105而显示搜索结果145。例如，搜索结果145可以包括多个搜索结果，所述搜索结果包括在因特网上找到的多个匹配图像。搜索结果145可以包括多个搜索结果，所述搜索结果包括在万维网上找到的多个网页。实施例并不限于该示例。
图14图示了适于实现如之前描述的各种实施例的示例性计算架构1400的实施例。在一个实施例中，计算架构1400可以包括或实现为电子设备的部分。电子设备的示例除了其它之外可以包括参考图2-4和8-11所描述的那些。实施例并不限于该上下文。
如本申请中所使用的，术语“系统”和“组件”意图指代计算机相关的实体，要么是硬件、硬件和软件的组合、软件，要么是执行中的软件，其示例由示例性计算架构1400提供。例如，组件可以是但不限于：处理器上运行的过程、处理器、硬盘驱动装置、(光学和/或磁性存储介质的)多个存储驱动装置、对象、可执行的、执行线程、程序、和/或计算机。作为说明，运行在服务器上的应用和服务器二者都可以是组件。一个或多个组件可以驻留于执行的过程和/或线程内，并且组件可以定位在一个计算机上和/或分布在两个或多个计算机之间。此外，组件可以通过各种类型的通信介质而通信地耦合到彼此以协调操作。协调可以涉及信息的单向或双向交换。例如，组件可以以通过通信介质来传送的信号的形式而传送信息。信息可以实现为被分配到各种信号线的信号。在这样的分配中，每个消息是信号。然而，另外的实施例可以可替换地采用数据消息。这样的数据消息可以跨各种连接而被发送。示例性的连接包括并行接口、串行接口和总线接口。
计算架构1400包括各种常见的计算元件，诸如一个或多个处理器、多核处理器、协处理器、存储器单元、芯片组、控制器、外围设备、接口、振荡器、定时设备、视频卡、音频卡、多媒体输入/输出(I/O)组件、电源等等。然而，实施例并不限于通过计算架构1400的实现。
如图14中所示，计算架构1400包括处理单元1404、系统存储器1406和系统总线1408。处理单元1404可以是各种商业上可得到的处理器中的任一个，包括但不限于：
Figure BPA0000210601900000121
和
Figure BPA0000210601900000122
处理器；
Figure BPA0000210601900000123
应用、嵌入式和安全处理器；
Figure BPA0000210601900000124
和
Figure BPA0000210601900000125
和
Figure BPA0000210601900000126
处理器；IBM和
Figure BPA0000210601900000131
Cell(单元)处理器；
Figure BPA0000210601900000132
Core(2)
Figure BPA0000210601900000133
Figure BPA0000210601900000134
和
Figure BPA0000210601900000135
处理器；以及类似的处理器。也可以采用双微处理器、多核处理器和其它多处理器架构作为处理单元1404。
系统总线1408为系统组件提供接口，包括但不限于系统存储器1406到处理单元1404。系统总线1408可以是可以此外通过使用各种商业上可得到的总线架构中的任一种而互连至存储器总线(具有或不具有存储器控制器)、外围总线和局部总线的若干类型的总线结构中的任一种。接口适配器可以经由插槽架构而连接至系统总线1408。示例插槽架构可以包括但不限于加速的图形端口(AGP)、卡总线、(扩展的)工业标准架构((E)ISA)、微通道架构(MCA)、NuBus、外围组件互连(扩展的)(PCI(X))、快速PCI、个人计算机存储卡国际协会(PCMCIA)等。
计算架构1400可以包括或实现各种制品。制品可以包括用来存储逻辑的计算机可读存储介质。计算机可读存储介质的示例可以包括能够存储电子数据的任何有形介质，包括易失性存储器或非易失性存储器、可移除或不可移除存储器、可擦除或不可擦除存储器、可写或可重写存储器等等。逻辑的示例可以包括使用任何合适类型的代码(诸如源代码、编译的代码、解译的代码、可执行的代码、静态代码、动态代码、面向对象的代码、可视化代码等等)实现的可执行的计算机程序指令。实施例也可以至少部分地实现为被包含在非暂时性计算机可读介质中或其上的指令，所述指令可以由一个或多个处理器读取并执行以使得能够执行本文所描述的操作。
系统存储器1406可以以一个或多个较高速存储器单元的形式包括各种类型的计算机可读存储介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、动态RAM(DRAM)、双数据速率DRAM(DDRAM)、同步DRAM(SDRAM)、静态RAM(SRAM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、聚合物存储器诸如铁电聚合物存储器、奥氏(ovonic)存储器、相变或铁电存储器、硅-氧化物-氮化物-氧化物-硅(SONOS)存储器、磁卡或光卡、设备阵列诸如独立磁盘冗余阵列(RAID)驱动装置、固态存储器设备(例如，USB存储器、固态驱动装置(SSD)以及适于存储信息的任何其它类型的存储介质。在图14中示出的所图示的实施例中，系统存储器1406可以包括非易失性存储器1410和/或易失性存储器1412。基本输入/输出系统(BIOS)可以存储在非易失性存储器1410中。
计算机1402可以以一个或多个较低速存储器单元的形式包括各种类型的计算机可读存储介质，包括内部(或外部)硬盘驱动装置(HDD)1414，从可移除磁盘1418中读取或向其中写入的磁性软盘驱动装置(FDD)1416，以及从可移除光盘1422(例如，CD-ROM或DVD)读取或向其中写入的光盘驱动装置1420。HDD 1414、FDD 1416和光盘驱动装置1420可以分别通过HDD接口1424、FDD接口1426和光学驱动接口1428而连接到系统总线1408。用于外部驱动实现的HDD接口1424可以包括通用串行总线(USB)和IEEE 1394接口技术中的至少一个或二者。
驱动装置和相关联的计算机可读介质提供对数据、数据结构、计算机可执行指令等等的易失性和/或非易失性存储。例如，在驱动装置和存储器单元1410、1412中可以存储多个程序模块，包括操作系统1430、一个或多个应用程序1432、其它程序模块1434和程序数据1436。在一个实施例中，所述一个或多个应用程序1432、其它程序模块1434和程序数据1436可以包括，例如，系统100的各种应用和/或组件。
用户可以通过一个或多个有线/无线输入设备(例如，键盘1438和诸如鼠标1440之类的定点设备)将命令和信息录入到计算机1402中。其它的输入设备可以包括麦克风、红外(IR)远程控制装置、射频(RF)远程控制装置、游戏垫、触笔、读卡器、软件狗(dongle)、指纹读取器、手套、图形平板、操纵杆、键盘、视网膜读取器、触摸屏(例如，电容性、电阻性等)、跟踪球、跟踪板(trackpad)、传感器、触针等等。这些和其它的输入设备通常是通过耦合到系统总线1408的输入设备接口1442而连接到处理单元1404，但可以通过其它接口(诸如并行端口、IEEE 1394串行端口、游戏端口、USB端口、IR接口等)而被连接。
监视器1444或其它类型的显示设备也经由接口(诸如视频适配器1446)连接到系统总线1408。监视器1444可以是计算机1402内部的或外部的。除了监视器1444之外，计算机典型地包括其它外围输出设备，诸如扬声器、打印机等。
计算机1402可以通过使用逻辑连接、经由到一个或多个远程计算机(诸如远程计算机1448)的有线和/或无线通信而操作于联网的环境中。远程计算机1448可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐器具、对等设备或其它常见的网络节点，并且典型地包括关于计算机1402描述的许多或全部元件，尽管为了简洁的目的仅图示出了存储器/存储设备1450。所描绘的逻辑连接包括到局域网(LAN)1452和/或更大的网络(例如广域网(WAN)1454)的有线/无线连接性。这样的LAN和WAN联网环境在办公室和公司中是常见的，并促进全企业的计算机网络，诸如内联网，其中所有可以连接至全球通信网络，例如因特网。
当在LAN联网环境中使用时，计算机1402通过有线和/或无线通信网络接口或适配器1456连接至LAN 1452。适配器1456可以促进与LAN 1452的有线和/或无线通信，所述LAN1452还可以包括布置在其上的无线接入点以用于与适配器1456的无线功能性进行通信。
当在WAN联网环境中使用时，计算机1402可以包括调制解调器1458，或者连接至WAN 1454上的通信服务器，或者具有用于通过WAN 1454(诸如经由因特网)而建立通信的其它手段。调制解调器1458，其可以是内部的或外部的以及有线和/或无线的设备，经由输入设备接口1442而连接到系统总线1408。在联网的环境中，关于计算机1402而描绘的程序模块或其部分可以存储在远程存储器/存储设备1450中。将领会到，所示的网络连接是示例性的，并且可以使用在计算机之间建立通信链路的其它手段。
计算机1402可操作以与使用IEEE 802族的标准的有线和无线设备或实体通信，所述设备或实体诸如操作地以无线通信(例如，IEEE 802.14空中调制技术)而布置的无线设备。这除了其它之外至少包括Wi-Fi(或无线保真)、WiMax和蓝牙TM无线技术。因此，通信可以是如同常规网络一样的预定义结构或者仅仅是在至少两个设备之间的自组织(ad hoc)通信。Wi-Fi网络使用被称为IEEE 802.14x(a，b，g，n等)的无线电技术以提供安全、可靠、快速的无线连接性。Wi-Fi网络可以用于将计算机连接至彼此、至因特网以及至有线网络(其使用IEEE 802.3相关的媒介和功能)。
图15图示了适合于实现如之前描述的各种实施例的示例性通信架构1500的框图。通信架构1500包括各种常见的通信元件，诸如发射器、接收器、收发器、无线电装置、网络接口、基带处理器、天线、放大器、滤波器、电源等等。然而，实施例并不限于通过通信架构1500的实现。
如图15中所示，通信架构1500包括包含一个或多个客户端1502和服务器1504。客户端1502可以实现计算设备210。服务器1504可以实现基于图像的搜索系统720。客户端1502和服务器1504操作地连接至一个或多个相应的客户端数据存储装置1508和服务器数据存储装置1510，其可以用于存储对于相应的客户端1502和服务器1504而言本地的信息，诸如cookies和/或相关联的上下文信息。
客户端1502和服务器1504可以通过使用通信框架1506而在彼此之间传送信息。通信框架1506可以实现任何公知的通信技术和协议。通信框架1506可以实现为分组交换网络(例如，公用网络(诸如因特网)、私有网络(诸如企业内联网)等等)，电路交换网络(例如，公用交换电话网络)，或分组交换网络和电路交换网络的组合(具有合适的网关和转化器)。
通信框架1506可以实现被布置以接受、通信和连接到通信网络的各种网络接口。网络接口可以视为专门化形式的输入输出接口。网络接口可以采用连接协议，连接协议包括但不限于直接连接、以太网(例如粗、细、双绞线10/100/1000Base T等)、令牌环、无线网络接口、蜂窝网络接口、IEEE 802.11a-x网络接口、IEEE 802.16网络接口、IEEE 802.20网络接口等。此外，可以使用多个网络接口以与各种通信网络类型接合。例如，可以采用多个网络接口以虑及通过广播、多播和单播网络的通信。如果处理要求规定更大量的速度和容量，那么类似地可以采用分布式网络控制器架构，用以池化(pool)、负载平衡、和以其它方式增加由客户端1502和服务器1504要求的通信带宽。通信网络可以是有线和/或无线网络中的任一种和组合，包括但不限于直接互连、安全自定义连接、私有网络(例如，企业内联网)、公用网络(例如，因特网)、个域网(PAN)、局域网(LAN)、城域网(MAN)、作为因特网上节点的操作任务(OMNI)、广域网(WAN)、无线网络、蜂窝网络，以及其它通信网络。
可以通过使用表述“一个实施例”或“实施例”连同它们的派生词来描述一些实施例。这些术语意味着结合实施例描述的特定特征、结构或特性被包括在至少一个实施例中。在说明书中各种地方中短语“在一个实施例中”的出现不一定全部指代相同的实施例。此外，可以通过使用表述“耦合的”和“连接的”连同其派生词来描述一些实施例。这些术语并不一定意图作为彼此的同义词。例如，可以通过使用术语“连接的”和/或“耦合的”来描述一些实施例以指示两个或更多个元件彼此直接物理或电接触。然而，术语“耦合的”还可以意味着两个或更多个元件彼此并不直接接触，但还仍与彼此协作或交互。
在一些实施例中，一种装置可以包括处理器电路；在处理器电路上操作以从显示图像的触敏屏幕接收手势信息并生成与手势信息对应的选择区域的手势组件；在处理器电路上操作以提取图像中与选择区域对应的图像部分的捕获组件；以及在处理器电路上操作以使用所提取的图像部分来执行基于图像的搜索的搜索组件。
附加地或可替换地，图像可以包括来自视频的帧，图像呈现为视频的回放的部分。
附加地或可替换地，手势组件可以操作以基于接收的手势信息而识别抓取手势。
附加地或可替换地，手势组件可以操作以生成与抓取手势对应的选择区域。
附加地或可替换地，手势组件可以操作以将选择区域确定为对抓取手势进行划界的最小化的矩形。
附加地或可替换地，捕获组件可以操作以提取被包含在确定的最小化的矩形内的图像部分。
附加地或可替换地，抓取手势可以包括跨触敏屏幕向下的多个触摸点的基本上平行、基本上同时的划刷。
附加地或可替换地，图像可以与用户接口元素相组合地显示。
附加地或可替换地，捕获组件可以操作以从提取的图像部分排除用户接口元素。
附加地或可替换地，用户接口元素可以包括围绕所显示的图像的元素。
附加地或可替换地，捕获组件可以操作以通过将选择区域约束到与显示的图像对应的触敏屏幕的一部分来排除用户接口元素。
附加地或可替换地，用户接口元素可以包括叠覆所显示的图像的元素。
附加地或可替换地，捕获组件可以操作以通过从存储了没有叠覆的用户接口元素的图像的显示缓冲器中提取图像部分来排除用户接口元素。
附加地或可替换地，触敏屏幕可以操作以检测定位于触敏屏幕的表面上的对象。
在一些实施例中，计算机实现的方法可以包括：在触敏屏幕上显示图像；从触敏屏幕接收手势信息；生成与接收的手势信息对应的选择区域；提取图像中与选择区域对应的图像部分；使用所提取的图像部分而执行基于图像的搜索以产生搜索结果；以及在触敏屏幕上显示搜索结果。
附加地或可替换地，图像可以包括来自视频的帧，图像呈现为视频的回放的部分。
附加地或可替换地，该方法可以包括基于接收的手势信息而识别抓取手势。
附加地或可替换地，该方法可以包括生成与抓取手势对应的选择区域。
附加地或可替换地，该方法可以包括将选择区域确定为对抓取手势进行划界的最小化的矩形。
附加地或可替换地，该方法可以包括提取被包含在所确定的最小化的矩形内的图像部分。
附加地或可替换地，抓取手势可以包括跨触敏屏幕向下的多个触摸点的基本上平行、基本上同时的划刷。
附加地或可替换地，图像可以与用户接口元素相组合地显示。
附加地或可替换地，该方法可以包括从提取的图像部分排除用户接口元素。
附加地或可替换地，用户接口元素可以包括围绕所显示的图像的元素。
附加地或可替换地，排除用户接口元素可以包括将选择区域约束到与显示的图像对应的触敏屏幕的一部分。
附加地或可替换地，用户接口元素可以包括叠覆所显示的图像的元素。
附加地或可替换地，排除用户接口元素可以包括从存储了没有叠覆的用户接口元素的图像的显示缓冲器中提取图像部分。
在一些实施例中，至少一个计算机可读存储介质可以包括指令，所述指令当被执行时使得系统：从显示视频的触敏屏幕接收手势信息；生成与接收的手势信息对应的选择区域；提取视频中与选择区域对应的图像部分；基于提取的图像部分而从基于图像的搜索系统请求基于图像的搜索；以及从基于图像的搜索系统接收搜索结果。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统基于接收的手势信息而识别抓取手势。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统生成与抓取手势对应的选择区域。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统将选择区域确定为对抓取手势进行划界的最小化的矩形。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统提取被包含在所确定的最小化的矩形内的图像部分。
附加地或可替换地，抓取手势可以包括跨触敏屏幕向下的多个触摸点的基本上平行、基本上同时的划刷。
附加地或可替换地，图像可以与用户接口元素相组合地显示。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统从提取的图像部分中排除用户接口元素。
附加地或可替换地，用户接口元素可以包括围绕所显示的图像的元素。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统通过将选择区域约束成与显示的图像对应的触敏屏幕的一部分来排除用户接口元素。
附加地或可替换地，用户接口元素可以包括叠覆所显示的图像的元素。
附加地或可替换地，计算机可读存储介质可以此外包括指令，所述指令当被执行时使得系统通过从存储了没有叠覆的用户接口元素的图像的显示缓冲器中提取图像部分来排除用户接口元素。
强调的是，提供本公开的摘要以允许读者快速弄清技术公开的本质。它在这样的理解的情况下被提交：它将不用于解释或限制权利要求的范围或含义。另外，在前述具体实施方式中可以看出，为了使公开整体化的目的，将各种特征一起群组在单个实施例中。该公开方法不要被解释为反映以下意图：要求保护的实施例需要比在每个权利要求中明确陈述的更多的特征。相反，如下面的权利要求所反映的，发明主题在于少于单个公开的实施例的全部特征。因此，下面的权利要求据此并入到具体实施方式中，其中每个权利要求独立地作为分离的实施例。在随附权利要求中，术语“包括”和“其中”分别用作相应的术语“包括有”和“在其中”的简明话语等同物。此外，术语“第一”、“第二”、“第三”等仅仅用作标签，并非意图在它们的对象上强加数字要求。
上文已经描述的内容包括所公开的架构的示例。当然，不可能对组件和/或方法的每个可想到的组合进行描述，但本领域普通技术人员可以认识到，许多另外的组合和置换是可能的。因此，新颖的架构意在包括落在随附权利要求的精神和范围内的所有这样的变更、修改和变型。

Claims (15)

1.一种用于使用触摸控制的基于图像的搜索的装置，包括:
处理器电路；
手势组件，所述手势组件在所述处理器电路上操作以从显示图像和用户接口元素的触敏屏幕接收手势信息并生成与所述手势信息对应的选择区域，所述图像与所述用户接口元素相组合地显示，并且在所述用户接口元素包括围绕显示的图像的元素的情况下，所述手势组件操作以确定对由所述手势信息指示的触摸手势进行划界的最小化的矩形并且然后裁剪所述最小化的矩形以完全处于所述图像内以及排除所述用户接口元素来生成裁剪的最小化的矩形并将所述选择区域设为所述裁剪的最小化的矩形；
捕获组件，所述捕获组件在所述处理器电路上操作以提取所述图像中与所述选择区域对应的图像部分，并且在所述用户接口元素包括叠覆所述显示的图像的元素的情况下，所述捕获组件操作以通过从存储了没有叠覆的用户接口元素的所述图像的显示缓冲器中提取所述图像部分来从提取的图像部分排除所述用户接口元素，并且从所述显示缓冲器中提取所述图像部分包括从所述显示缓冲器中获得没有叠覆的用户接口元素的所述图像并且接着根据所述选择区域将获得的图像裁剪成所述图像部分；以及
搜索组件，所述搜索组件在所述处理器电路上操作以使用所述提取的图像部分而执行基于图像的搜索。
2.如权利要求 1 所述的装置，所述图像包括来自视频的帧，所述图像呈现为视频回放的部分。
3.如权利要求 1 所述的装置，所述手势组件操作以基于接收的手势信息而识别抓取手势并生成与所述抓取手势对应的所述选择区域。
4.如权利要求 3 所述的装置，所述抓取手势包括跨所述触敏屏幕向下的多个触摸点的基本上平行、基本上同时的划刷。
5.如权利要求 1 所述的装置，所述触敏屏幕操作以检测定位于所述触敏屏幕的表面上的对象。
6.一种计算机实现的方法，包括:
在触敏屏幕上显示图像和用户接口元素，所述图像与所述用户接口元素相组合地显示；
从所述触敏屏幕接收手势信息；
生成与接收的手势信息对应的选择区域，其中在所述用户接口元素包括围绕显示的图像的元素的情况下，生成所述选择区域包括确定对由所述手势信息指示的触摸手势进行划界的最小化的矩形并且然后裁剪所述最小化的矩形以完全处于所述图像内以及排除所述用户接口元素来生成裁剪的最小化的矩形并将所述选择区域设为所述裁剪的最小化的矩形；
提取所述图像中与所述选择区域对应的图像部分，其中在所述用户接口元素包括叠覆所述显示的图像的元素的情况下，通过从存储了没有叠覆的用户接口元素的所述图像的显示缓冲器中提取所述图像部分来从提取的图像部分排除所述用户接口元素，并且从所述显示缓冲器中提取所述图像部分包括从所述显示缓冲器中获得没有叠覆的用户接口元素的所述图像并且接着根据所述选择区域将获得的图像裁剪成所述图像部分；
使用所述提取的图像部分而执行基于图像的搜索以产生搜索结果；以及
在所述触敏屏幕上显示所述搜索结果。
7.如权利要求6所述的方法，所述图像包括来自视频的帧，所述图像呈现为视频回放的部分。
8.如权利要求6所述的方法，包括：
基于所述接收的手势信息而识别抓取手势；以及
生成与所述抓取手势对应的所述选择区域。
9.如权利要求8所述的方法，所述抓取手势包括跨所述触敏屏幕向下的多个触摸点的基本上平行、基本上同时的划刷。
10.一种用于使用触摸控制的基于图像的搜索的装置，包括用于执行如权利要求6至 9中的任一项所述的方法的构件。
11.一种要与计算机一起使用的装置，包括:
用于在触敏屏幕上显示图像和用户接口元素的部件，所述图像与所述用户接口元素相组合地显示；
用于从所述触敏屏幕接收手势信息的部件；
用于生成与接收的手势信息对应的选择区域的部件，其中在所述用户接口元素包括围绕显示的图像的元素的情况下，生成所述选择区域包括确定对由所述手势信息指示的触摸手势进行划界的最小化的矩形并且然后裁剪所述最小化的矩形以完全处于所述图像内以及排除所述用户接口元素来生成裁剪的最小化的矩形并将所述选择区域设为所述裁剪的最小化的矩形；
用于提取所述图像中与所述选择区域对应的图像部分的部件，其中在所述用户接口元素包括叠覆所述显示的图像的元素的情况下，通过从存储了没有叠覆的用户接口元素的所述图像的显示缓冲器中提取所述图像部分来从提取的图像部分排除所述用户接口元素，并且从所述显示缓冲器中提取所述图像部分包括从所述显示缓冲器中获得没有叠覆的用户接口元素的所述图像并且接着根据所述选择区域将获得的图像裁剪成所述图像部分；
用于使用所述提取的图像部分而执行基于图像的搜索以产生搜索结果的部件；以及
用于在所述触敏屏幕上显示所述搜索结果的部件。
12.如权利要求11所述的装置，所述图像包括来自视频的帧，所述图像呈现为视频回放的部分。
13.如权利要求11所述的装置，包括：
用于基于接收的手势信息而识别抓取手势的部件；以及
用于生成与所述抓取手势对应的所述选择区域的部件。
14.如权利要求13所述的装置，抓取手势包括跨触敏屏幕向下的多个触摸点的基本上平行、基本上同时的划刷。
15.一种计算机可读介质，具有存储在其上的指令，所述指令在执行时促使计算机执行如权利要求6-9中的任一项所述的方法。
CN201380068663.0A 2013-02-01 2013-02-01 用于使用触摸控制的基于图像的搜索的技术 Active CN105190644B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/071254 WO2014117384A1 (en) 2013-02-01 2013-02-01 Techniques for image-based search using touch controls

Publications (2)

Publication Number Publication Date
CN105190644A CN105190644A (zh) 2015-12-23
CN105190644B true CN105190644B (zh) 2020-12-18

Family

ID=51261436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380068663.0A Active CN105190644B (zh) 2013-02-01 2013-02-01 用于使用触摸控制的基于图像的搜索的技术

Country Status (4)

Country Link
US (4) US9916081B2 (zh)
EP (1) EP2951756A4 (zh)
CN (1) CN105190644B (zh)
WO (1) WO2014117384A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772700B2 (en) * 2012-04-30 2017-09-26 Blackberry Limited Device and method for processing user input
US9715533B2 (en) * 2013-07-02 2017-07-25 Ebay Inc. Multi-dimensional search
USD741906S1 (en) * 2013-08-06 2015-10-27 Wargaming.Net Llp Display screen with icon
US20150078586A1 (en) * 2013-09-16 2015-03-19 Amazon Technologies, Inc. User input with fingerprint sensor
USD740320S1 (en) * 2013-10-17 2015-10-06 Microsoft Corporation Display screen with icon
KR20150050016A (ko) * 2013-10-31 2015-05-08 삼성전자주식회사 전자 장치 및 전자 장치에서의 검색 방법
JP5655973B1 (ja) * 2014-07-25 2015-01-21 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
CN104778195A (zh) * 2014-12-26 2015-07-15 北京奇虎科技有限公司 终端和基于触摸操作的搜索方法
CN104731509A (zh) * 2015-03-31 2015-06-24 北京奇虎科技有限公司 基于触摸操作的搜索方法、装置和终端
CN104866194B (zh) * 2015-05-21 2018-07-13 百度在线网络技术（北京）有限公司 图片搜索方法及装置
KR20170017572A (ko) * 2015-08-07 2017-02-15 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
US10157333B1 (en) 2015-09-15 2018-12-18 Snap Inc. Systems and methods for content tagging
US10083238B2 (en) * 2015-09-28 2018-09-25 Oath Inc. Multi-touch gesture search
US10897449B2 (en) * 2015-10-06 2021-01-19 Twitter, Inc. Social media messaging platform for creating and sharing moments
US20170161382A1 (en) 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
CN107533566A (zh) * 2016-02-25 2018-01-02 华为技术有限公司 对图片的内容进行检索的方法、便携式电子设备和图形用户界面
US10353950B2 (en) 2016-06-28 2019-07-16 Google Llc Visual recognition using user tap locations
US11334768B1 (en) 2016-07-05 2022-05-17 Snap Inc. Ephemeral content management
KR102586170B1 (ko) * 2017-08-01 2023-10-10 삼성전자주식회사 전자 장치 및 이의 검색 결과 제공 방법
US20190227634A1 (en) * 2018-01-19 2019-07-25 International Business Machines Corporation Contextual gesture-based image searching
US11169668B2 (en) * 2018-05-16 2021-11-09 Google Llc Selecting an input mode for a virtual assistant
CN109147009B (zh) * 2018-08-13 2023-04-07 优视科技新加坡有限公司 一种基于图像的个性化操作的方法、装置和设备/终端/服务器
US11334617B2 (en) * 2019-09-25 2022-05-17 Mercari, Inc. Paint-based image search
CN110647640B (zh) * 2019-09-30 2023-01-10 京东方科技集团股份有限公司 计算机系统、操作计算装置的方法及操作计算装置的系统
US10970330B1 (en) 2019-11-20 2021-04-06 International Business Machines Corporation Method of searching images using rotational gesture input
USD953352S1 (en) * 2019-12-30 2022-05-31 Twitter, Inc. Display screen with graphical user interface for moments in a social media application

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520843A (zh) * 2011-11-19 2012-06-27 上海量明科技发展有限公司 一种采集图像作为候选项的输入法及系统

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5485565A (en) * 1993-08-04 1996-01-16 Xerox Corporation Gestural indicators for selecting graphic objects
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US7086013B2 (en) * 2002-03-22 2006-08-01 Xerox Corporation Method and system for overloading loop selection commands in a system for selecting and arranging visible material in document images
US20050162445A1 (en) * 2004-01-22 2005-07-28 Lumapix Method and system for interactive cropping of a graphical object within a containing region
US20060002315A1 (en) * 2004-04-15 2006-01-05 Citrix Systems, Inc. Selectively sharing screen data
US20080177640A1 (en) * 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7689926B2 (en) * 2006-03-31 2010-03-30 Microsoft Corporation Selective window exclusion for captured content
US8861898B2 (en) * 2007-03-16 2014-10-14 Sony Corporation Content image search
US8059101B2 (en) 2007-06-22 2011-11-15 Apple Inc. Swipe gestures for touch screen keyboards
US20090079840A1 (en) * 2007-09-25 2009-03-26 Motorola, Inc. Method for intelligently creating, consuming, and sharing video content on mobile devices
CN101216833B (zh) 2007-12-28 2012-02-22 深圳市迅雷网络技术有限公司 一种搜索并提供视频文件的方法、服务器和系统
CN101470805B (zh) * 2007-12-28 2012-01-04 北大方正集团有限公司 静态图像目标的特征信息提取方法及装置
KR101570116B1 (ko) * 2008-09-09 2015-11-19 삼성전자주식회사 터치스크린을 이용한 컨텐츠 탐색 및 실행방법과 이를 이용한 장치
US8239359B2 (en) * 2008-09-23 2012-08-07 Disney Enterprises, Inc. System and method for visual search in a video media player
KR101670109B1 (ko) * 2009-03-12 2016-10-27 임머숀 코퍼레이션 표면-기반 햅틱 효과를 특징으로 하는 인터페이스에 대한 시스템 및 방법
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8875035B2 (en) * 2009-05-29 2014-10-28 Apple Inc. Graphical representation of out-of-bound image selection
US8681106B2 (en) * 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
JP2011050038A (ja) 2009-07-27 2011-03-10 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
KR20110039028A (ko) * 2009-10-09 2011-04-15 에스케이텔레콤 주식회사 동영상 재생화면의 오브젝트 관련정보 획득 방법 및 그 휴대기기
US8977639B2 (en) 2009-12-02 2015-03-10 Google Inc. Actionable search results for visual queries
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
CN102763104B (zh) * 2010-02-26 2015-04-01 乐天株式会社 信息处理装置、信息处理方法、记录了信息处理程序的记录介质
US8286102B1 (en) * 2010-05-27 2012-10-09 Adobe Systems Incorporated System and method for image processing using multi-touch gestures
US20110304541A1 (en) * 2010-06-11 2011-12-15 Navneet Dalal Method and system for detecting gestures
US20120001856A1 (en) * 2010-07-02 2012-01-05 Nokia Corporation Responding to tactile inputs
US8762881B2 (en) * 2010-07-15 2014-06-24 Salesforce.Com, Inc. Taking screenshots of a failed application
US10409851B2 (en) * 2011-01-31 2019-09-10 Microsoft Technology Licensing, Llc Gesture-based search
US8553981B2 (en) * 2011-05-17 2013-10-08 Microsoft Corporation Gesture-based visual search
US8560517B2 (en) * 2011-07-05 2013-10-15 Microsoft Corporation Object retrieval using visual query context
CN102663792B (zh) * 2012-03-28 2016-01-20 上海量明科技发展有限公司 一种针对截图中冗余区域进行删除的方法及系统
US20140019431A1 (en) * 2012-07-13 2014-01-16 Deepmind Technologies Limited Method and Apparatus for Conducting a Search
US20140298223A1 (en) * 2013-02-06 2014-10-02 Peter Duong Systems and methods for drawing shapes and issuing gesture-based control commands on the same draw grid
US20150277571A1 (en) * 2014-03-31 2015-10-01 Kobo Incorporated User interface to capture a partial screen display responsive to a user gesture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102520843A (zh) * 2011-11-19 2012-06-27 上海量明科技发展有限公司 一种采集图像作为候选项的输入法及系统

Also Published As

Publication number Publication date
US20230152962A1 (en) 2023-05-18
US9916081B2 (en) 2018-03-13
WO2014117384A1 (en) 2014-08-07
US20180335938A1 (en) 2018-11-22
EP2951756A4 (en) 2016-09-07
EP2951756A1 (en) 2015-12-09
US20210208776A1 (en) 2021-07-08
US11592980B2 (en) 2023-02-28
CN105190644A (zh) 2015-12-23
US10976920B2 (en) 2021-04-13
US20150052431A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
US11592980B2 (en) Techniques for image-based search using touch controls
US10712925B2 (en) Infinite bi-directional scrolling
US10489047B2 (en) Text processing method and device
EP2738659B1 (en) Using clamping to modify scrolling
US20160110056A1 (en) Method and apparatus for providing user interface
US10649647B2 (en) Device and method of providing handwritten content in the same
EP2954692B1 (en) Telestration system for command processing
US20120159402A1 (en) Method and apparatus for providing different user interface effects for different implementation characteristics of a touch event
US20130132361A1 (en) Input method for querying by using a region formed by an enclosed track and system using the same
US20180181288A1 (en) Method for displaying information, and terminal equipment
US8965051B2 (en) Method and apparatus for providing hand detection
US20150062043A1 (en) Method of operating electronic handwriting and electronic device for supporting the same
US20230097857A1 (en) Card unit presentation method and apparatus, computer device, and storage medium
CN103268198A (zh) 手势输入方法及装置
CN108009273B (zh) 图像显示方法、装置及计算机可读存储介质
WO2017143575A1 (zh) 对图片的内容进行检索的方法、便携式电子设备和图形用户界面
US20170085784A1 (en) Method for image capturing and an electronic device using the method
EP3612921A1 (en) Enhanced inking capabilities for content creation applications
KR20150097250A (ko) 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
WO2016101768A1 (zh) 终端以及基于触摸操作的搜索方法和装置
CN114090896A (zh) 信息展示方法、装置及电子设备
CN112287131A (zh) 信息交互方法、信息交互装置
US20150007076A1 (en) Method and apparatus for creating electronic document in mobile terminal
US20170168696A1 (en) Method and electronic device for adjusting video window based on multi-point control
CN114049638A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant