CN107004122A - 补充信息的基于屏幕截图的指示 - Google Patents

补充信息的基于屏幕截图的指示 Download PDF

Info

Publication number
CN107004122A
CN107004122A CN201580062088.2A CN201580062088A CN107004122A CN 107004122 A CN107004122 A CN 107004122A CN 201580062088 A CN201580062088 A CN 201580062088A CN 107004122 A CN107004122 A CN 107004122A
Authority
CN
China
Prior art keywords
side information
user equipment
display
screenshot capture
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580062088.2A
Other languages
English (en)
Inventor
艾米尔·汉森
P·皮尼奥
D·德祖班
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107004122A publication Critical patent/CN107004122A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在用户设备(100)的显示器(110)上显示内容(210、220)。捕捉显示器(110)的屏幕截图。基于屏幕截图，获得与所显示的内容(210、220)有关的补充信息(230)。向用户设备(100)的用户指示补充信息(230)。

Description

补充信息的基于屏幕截图的指示
技术领域
本发明涉及控制用户设备的方法以及涉及相应配置的用户设备。
背景技术
在当前的通信设备中，可以基于各种服务或应用提供功能。用户可以决定对哪种服务感兴趣并在设备上安装相应的应用。这种服务的示例是社交网络服务、消息服务、媒体流服务、新闻服务等。这种服务可以由各种不同的实体来提供，并且这种服务的流行可以随时间而变化。
虽然这种服务中的每个可以具有特性特征和能力，但从用户角度可能期望某些增强。进一步地，从其他方的角度也可能期望这种增强。然而，修改现有流行服务以提供这种增强或甚至建立具有这种增强的新服务的可能性受限并且需要用于各服务的专用措施(measure)。
因此，存在对允许有效地增强用户设备的功能的技术的需要。
发明内容
根据本发明的实施方式，提供了一种控制用户设备的方法。根据方法，在用户设备的显示器上显示内容。捕捉显示器的屏幕截图(screenshot)。基于屏幕截图，获得与所显示的内容有关的补充信息。向用户设备的用户指示补充信息。
根据实施方式，该方法可以包括以下步骤：对所捕捉的屏幕截图执行图像识别。然后可以基于通过图像识别所识别的至少一个对象获得补充信息。
根据实施方式，该方法可以包括以下步骤：对所捕捉的屏幕截图执行文本识别。然后可以基于通过文本识别所识别的至少一个对象获得补充信息。
根据实施方式，该方法可以包括以下步骤：检测所述用户的动作。基于所检测的动作，可以触发屏幕截图的捕捉和补充信息的获得。动作例如可以包括在显示器上轻敲(tap)。这种轻敲可以在其长度方面和/或由具体轻敲模式而与显示器上的其他触摸动作区分开。例如，轻敲可以被限定为持续(例如，多于1s的)特定最小持续时间的显示器上的触摸。
根据实施方式，可以基于所检测的动作识别显示器的区域。例如，可以基于上面提及的轻敲发生的位置识别区域。然后，可以基于所识别的区域进一步获得补充信息。例如，上面提及的图像识别和/或文本识别可以集中于所识别的区域上。进一步地，用于获得补充信息的搜索算法可以利用图像识别或文本识别所识别的对象作为搜索关键字(key)，并且将所识别的区域中的对象比显示器的其他区域中的对象优先考虑。
根据实施方式，该方法可以包括以下步骤：识别生成所显示的内容的应用。然后，可以基于所识别的应用进一步获得补充信息。例如，如果所识别的应用与音乐流服务相关联，则图像识别处理可以适于识别如通常在使用音乐流服务时显示的对象(诸如，艺术家的脸)。进一步地，用于获得补充信息的搜索算法可以优先考虑与音乐产品有关的搜索结果(例如，与关于艺术家、音乐风格等的信息对应的搜索结果)。
根据实施方式，补充信息的指示可以包括在显示器上生成覆盖框(overlayframe)。这种覆盖框可以以文本和/或图像元素的形式示出补充信息。
根据实施方式，补充信息还可以包括与由所显示的内容示出的对象有关的一个或更多个动作。例如，如果由所显示的内容示出的对象是可商购产品(commerciallyavailable product)，则补充信息可以提供到允许购买该产品的商店的链接。作为另外的示例，如果由所显示的内容示出的对象是艺术家，则补充信息可以提供到该艺术家作品的链接。
根据实施方式，补充信息的获得可以包括从用户设备向基于网络的服务发送请求。这种网络服务可以独立于提供所显示的内容的服务或应用。例如，这种基于网络的服务可以由用户设备的供应商或制造商来提供。请求例如可以指示由如在用户设备上执行的图像识别和/或文本识别来识别的一个或更多个对象。这种对象然后可以被用作用于由基于网络的服务执行的搜索算法的关键字。另选地或附加地，请求可以指示所捕捉的屏幕截图的至少一部分。在这种情况下，图像识别或文本识别可以由基于网络的服务另选地或附加地执行。响应于该请求，基于网络的服务可以向用户设备提供补充信息的至少一部分。
根据本发明的又一实施方式，提供了一种用户设备。用户设备包括显示器和至少一个处理器。至少一个处理器被配置为在用户设备的显示器上显示内容。进一步地，至少一个处理器被配置为捕捉显示器的屏幕截图。进一步地，至少一个处理器被配置为基于屏幕截图，获得与所显示的内容有关的补充信息。进一步地，至少一个处理器被配置为向用户设备的用户指示补充信息。
至少一个处理器可以被配置为执行根据上述实施方式的方法的步骤。
例如，至少一个处理器可以被配置为对所捕捉的屏幕截图执行图像识别，并且基于通过图像识别所识别的至少一个对象获得补充信息。
进一步地，至少一个处理器可以被配置为对所捕捉的屏幕截图执行文本识别，并且基于通过文本识别所识别的至少一个对象获得补充信息。
进一步地，至少一个处理器可以被配置为检测用户的动作，并且基于所检测的动作，触发屏幕截图的所述捕捉和补充信息的获得。该动作可以包括在显示器上轻敲。
进一步地，至少一个处理器可以被配置为基于所检测的动作，识别显示器的区域，并且基于所识别的区域获得补充信息。
进一步地，至少一个处理器可以被配置为识别提供所显示的内容的应用，并且基于所识别的应用获得补充信息。
进一步地，至少一个处理器可以被配置为通过在显示器上生成覆盖框来指示补充信息。
进一步的，补充信息可以包括与在所显示的内容中示出的对象有关的一个或更多个动作。
进一步地，用户设备可以包括到基于网络的服务的接口，并且至少一个处理器可以被配置为通过从用户设备向基于网络的服务发送请求来获得补充信息的至少一部分。
在一些实施方式中，上述方法还可以由包括用户设备和网络设备的系统来实现。在这种系统中，网络设备可以提供用于执行图像识别和/或文本识别的至少一部分或用于由搜索算法确定补充信息的基于网络的服务。
现在将参照附图更详细地描述本发明的上述和另外的实施方式。
附图说明
图1示意性地例示了操作根据本发明的实施方式的用户设备的场景。
图2示意性地例示了根据本发明的实施方式的、指示补充信息的场景。
图3示出了用于例示根据本发明的实施方式的、指示补充信息的方法的流程图。
图4示出了用于例示在本发明的实施方式中利用的、用于向用户设备提供补充信息的至少一部分的方法的流程图。
图5示意性地例示了根据本发明的实施方式的用户设备的基于处理器的实现。
具体实施方式
在下文中，将更详细地描述本发明的示例性实施方式。必须理解，以下描述仅是为了例示本发明的原理的目的而给出，而不认为具有限制意义。相反，本发明的范围仅由所附权利要求来限定，并且不旨在受下文中描述的示例性实施方式限制。
所例示的实施方式与向用户设备的用户指示补充信息有关。用户设备例如可以是移动通信设备(诸如，智能电话或平板计算机)。然而，应当理解，所例示的概念(concept)还可以应用于其他种类的用户设备(诸如，个人计算机、游戏设备、媒体播放器设备等)。
在一些实现中，用户设备可以设置有网络连接，以便允许利用经由通信网络提供的一个或更多个服务。这种服务例如可以包括社交网络服务、媒体流服务、消息服务、新闻服务等。网络连接可以为无线的(例如，基于一种或更多种无线电技术)和/或基于线路的。可以由用户设备支持的无线电技术的示例包括蜂窝无线电技术(诸如，GSM(全球移动通信系统)、UMTS(通用移动电信系统)、LTE(长期演进)或CDMA2000)。另选地或另外地，无线电连接可以基于根据IEEE 802.11标准的WLAN(无线局域网)技术或基于WPAN(无线个域网)技术(诸如，蓝牙)。
在所例示概念中，从用户设备的显示器捕捉的屏幕截图用作用于提供与当前显示的内容有关的补充信息的基础。补充信息可以通过提供通常不由提供所显示的内容的应用示出的信息来增强用户体验。进一步地，补充信息可以向用户提供附加的交互可能性(例如，购买选项或链接)。通过利用屏幕截图，不需要在提供所显示的内容的应用中的具体修改。相反，用于提供补充信息的功能可以独立于这种应用(例如，由单独的应用或作为用户设备的操作系统的一部分)来提供。
图1示意性地例示了利用用户设备100的示例性场景。在图1的示例中，假定用户设备100为智能电话。如所例示的，用户设备100被设置有显示器110。显示器例如可以为触摸显示器，该触摸显示器同时允许例如通过电容感测检测用户的输入。显示器110用于向用户设备100的用户显示各种类型的内容。例如，这种内容可以由运行在用户设备100上的服务或应用来提供。这种服务或应用例如可以包括社交网络服务/应用、媒体流服务/应用、消息服务/应用、新闻服务/应用等。如所例示的，所显示的内容可以包括一个或更多个图片元素210和/或一个或更多个文本元素220。这种图片元素210或文本元素220可以为运行在用户设备100上的服务/应用的用户界面的一部分。
如图1所示，提供补充信息的功能可以由用户的动作(具体为在显示器110上轻敲)来触发。为了将该轻敲与针对用于设备100的用户界面或针对提供所显示的内容的应用限定的其他触摸动作区分开，该轻敲可以与“长轻敲”(即，触摸显示器达到比例如1s的特定最小持续时间长)对应。长轻敲被检测到并且触发提供补充信息的功能。进一步地，还可以检测到长轻敲在显示器上的位置。在所例示示例中，长轻敲处于图像对象210的区域中。
长轻敲的检测触发屏幕截图的捕捉。该屏幕截图可以覆盖显示器110的整个区域或仅覆盖其一部分(例如，显示器110的由生成在显示器110上示出的内容(即，图像对象210和文本对象220)的应用利用的那部分)。显示器110的该部分例如可以与窗口或应用用户界面对应。
作为下一步骤，可以对所捕捉的屏幕截图执行图像识别和/或文本识别，以识别所显示的内容中的对象。在所例示示例中，这种图像识别和文本识别例如将识别如示出包(bag)的图像对象和具有所包括的文本的文本对象220。识别处理还可以提供所识别的对象的另外特性(例如，包的商标、供应商或型号)。类似地，所识别的文本还可以通过识别单词、名称或短语来解释。图像识别和/或文本识别处理还可以集中于检测到长轻敲的区域。例如，在图像识别或文本识别中可以忽略屏幕截图的位于距离长轻敲的位置比特定阈值距离更远的区域。作为另外的可能性，可以对完整的屏幕截图执行文本识别，而仅在长轻敲位置的附近执行图像识别。更进一步地，在长轻敲位置附近，可以利用比屏幕截图的其他区域中更高分辨率的图像识别或文本识别。这例如还可以允许识别所识别的图像对象210内的小文本元素，这可以允许图像对象210更精确的分类。图像识别或文本识别还可以根据提供所显示的内容的应用的类型来执行。例如，如果已知应用仅以文本的形式提供内容，则可以停用图像识别。
所识别的对象210、220然后被用作用于搜索算法的关键字。作为另外的参数，这种搜索算法还可以利用提供所显示的内容的应用的类型。例如，如果应用是音乐流应用，则搜索算法可以优先考虑与音乐有关的搜索结果。类似地，如果应用是视频流应用，则搜索算法可以优先考虑与视频、电视或相机有关的搜索结果。
在已经从搜索结果确定补充信息时，向用户指示所述补充信息。如图2所例示的，这可以通过在显示器110上提供覆盖框230来完成。覆盖框上示出的补充信息可以包括通常不由提供在屏幕上示出的内容的应用示出的各种信息项。在所例示的示例中，图像对象230的包例如可以为由媒体流应用、社交网络应用或新闻应用示出的图像内容的一部分。然而，所示出的内容可以主要集中于其他元素(例如，携带包的人)。如果需要，则所指示的补充信息可以向用户提供关于包了解更多(例如，其制造商、其型号或其从哪里可购买)的可能性。
由覆盖框230示出的补充信息还可以向用户提供交互可能性。例如，补充信息可以包括与所识别的对象有关的链接。这种链接甚至可以提供与所识别的对象有关的另外的信息或动作。例如，在所例示的示例中，这种动作可以与从网上商店购买图像对象230的包或将包添加到购物清单对应。进一步地，这种动作可以和与另一个人(例如，来自社交网络服务的联系人)共享关于包的信息对应。
图3示出了例示可以用于在用户设备上指示补充信息的方法的流程图。该方法例如可以关于上述用户设备100来实现。如果利用用户设备的基于处理器的实现，则方法的步骤的至少一部分可以由用户设备的一个或更多个处理器来执行和/或控制。
在步骤310处，在用户设备的显示器上示出内容。显示器例如可以为被配置为检测由用户进行的各种触摸动作的触敏显示器。所显示的内容可以由用户设备的用户当前所利用的特定应用来提供。应用例如可以与基于网络的服务(诸如，社交网络服务、媒体流服务、消息服务或新闻服务)相关联。所显示的内容可以包括一个或更多个图像元素和/或一个或更多个文本元素。完整的显示器或仅显示器的一部分可以用于显示内容。
在步骤320处，可以检测到用户的动作。这种动作例如可以对应于或包括用户设备的显示器上轻敲。轻敲动作可以通过限定轻敲长度和/或轻敲模式并将所检测的轻敲动作的特性与该轻敲长度或轻敲模式进行比较来与其他轻敲动作区分开。所检测的动作还可以允许识别显示器的特定区域。例如，可以识别执行轻敲的位置附近的区域。这种区域例如可以鉴于距离轻敲位置的特定距离来限定(例如，作为由距离轻敲位置特定横向距离和特定纵向距离的线定界的框或作为由在轻敲位置周围特定距离的线定界的圆)。
在步骤330处，捕捉屏幕截图。这可以由在步骤330处检测的动作来触发。所捕捉的屏幕截图可以覆盖用户设备的整个显示器或仅覆盖显示器的一部分(例如，被分配给当前利用的应用以显示内容的那部分)。在一些场景中，例如可以响应于检测到步骤330的动作或在一些其他情况下识别提供内容的应用，并且所识别的应用的种类或具体类型可以用作用于确定显示器的被屏幕截图覆盖的部分的基础。识别应用还可以涉及询问(例如，如由基于网络的应用商店提供的)数据库。识别应用还可以包括识别应用的种类。可能的种类例如为音乐、视频、消息、社交网络、照片、新闻、地图、购物等。在一些情况下，应用还可以鉴于其名称、其提供商和/或其版本号而被识别。
在步骤340处，可以对在步骤330处捕捉的屏幕截图执行图像识别和/或文本识别。图像识别或文本识别可以在完整屏幕截图上执行或者可以集中于屏幕截图的特定区域。例如，这种区域可以根据基于步骤320处用户的动作识别的区域(例如，根据轻敲的位置)来限定。进一步地，这种区域可以根据提供所显示的内容的应用来限定。例如，可以已知特定应用利用显示器的特定部分来示出图像元素和/或利用显示器的特定部分来示出文本元素。因此，这种知识可以应用于设置图像识别和/或文本识别的焦点。基于用户动作识别的区域转而可以被解释为该区域中所识别的任何对象对于用户来说特别感兴趣的指示。作为图像识别和/或文本识别的结果，可以提供一个或更多个所识别的对象。这种所识别的对象可以与物品(诸如，商品)、人(诸如，艺术家、名人或其他著名人士、用户的社交联系人)、地标、媒体产品(音乐、视频、书籍)的封面设计、商标等对应。
图像识别和/或文本识别可以在用户设备中执行。进一步地，图像识别和/或文本识别的至少一部分可以由基于网络的服务来执行。在后者的情况下，屏幕截图或其部分可以从用户设备传输到基于网络的服务，并且基于网络的服务可以返回所识别的对象。在这种情况下，执行图像识别或文本识别可以涉及向由基于网络的服务发送一个或更多个请求。
在步骤350处，基于屏幕截图获得补充信息。这可以基于将来自步骤340的所识别的对象作为关键字的搜索算法来完成。该搜索算法可以在用户设备中实现，和/或可以利用一个或更多个基于网络的服务。在这种情况下，获得补充信息可以涉及向由基于网络的服务发送一个或更多个请求。在一些实现中，图像识别或文本识别还可以与搜索算法组合。在这种情况下，屏幕截图或屏幕截图的部分可以用作用于搜索算法的关键字。
在一些场景中，搜索算法可以根据基于所检测的用户的动作而识别的区域来调整。例如，如果在屏幕截图的相应区域中识别到对象，则通过将该对象用作关键字而获得的搜索结果可以比例如使用在屏幕截图的其他区域中识别的对象而获得的其他搜索结果优先考虑。
另选地或另外，该算法可以根据提供所显示的内容的应用来调整。例如，如果应用与音乐流服务相关联，则可以将与音乐产品或音乐艺术家有关的搜索结果比其他搜索结果优先考虑。
然后可以从由搜索算法提供的搜索结果确定补充信息。
在步骤360处，向用户指示补充信息。这可以通过在显示器上生成覆盖框(例如，由图2所例示的)来完成。覆盖框可以被显示在由当前利用的应用示出的内容的顶部上。在一些场景中，在显示器上生成覆盖框的位置取决于基于所检测的用户动作识别的区域(例如，取决于轻敲的位置)。另外或另选地，显示器上生成覆盖框的位置可以取决于与补充信息有关的所识别的对象。例如，在图2的示例性场景中，覆盖框230可以指示与图像对象210的包有关的补充信息，并且由此可以在靠近表示包的图像对象210的位置处生成覆盖框。
补充信息可以包括各种信息(具体地，通常不由提供所生成的内容的应用示出的信息)。例如，在图2的场景中，图像对象210的包可以在由视频流应用提供的视频内容中示出。补充信息然后可以指示包的商标、包的制造商、包的型号、包的规格、和/或可以购买包的一个或更多个商店、通常不由提供所显示的内容的应用示出的信息。在一些场景中，补充信息还可以指示与在所显示的内容(例如，用于获得又进一步的信息的一个或更多个链接、用于购买产品(例如，与所识别的对象对应的产品或另选产品)的一个或更多个链接、用于播放媒体项目的一个或更多个链接、用于将产品添加到购买清单的一个或更多个链接等)中识别的对象有关的动作。
图4示出了例示了可以由基于网络的服务使用以向用户设备提供补充信息的方法的流程图。该方法的步骤中的至少一部分可以由网络设备(例如，具有到用户设备的网络连接的服务器)的一个或更多个处理器来执行和/或控制。
在步骤410处，从用户设备接收对补充信息的请求。该请求可以指示要由搜索算法用作搜索关键字的一个或更多个对象。进一步地，该请求可以包括从用户设备的显示器捕捉的屏幕截图的至少一部分。
如果步骤410的请求包括屏幕截图或屏幕截图的一部分，则在步骤420处可以对屏幕截图或屏幕截图的一部分执行图像识别和/或文本识别。作为图像识别和/或文本识别的结果，可以提供一个或更多个所识别的对象。这种所识别的对象可以与物品(诸如，商品)、人(诸如，艺术家、名人或其他著名人士、用户的社交联系人)、地标、媒体产品(音乐、视频、书籍)的封面设计、商标等对应。图像识别和/或文本识别还可以根据在步骤410的请求中指示的参数来调整。例如，这种参数可以指示图像识别和/或文本识别应集中于的屏幕截图的一个或更多个区域。
在步骤430处，确定补充信息。这可以基于步骤410的请求中所指示的对象和/或步骤420处识别的对象完成。为此，可以应用将所识别的对象用作关键字的搜索算法。搜索算法还可以根据在步骤410的请求中指示的参数来调整。例如，这种参数可以指示要优先考虑的一个或更多个种类的搜索结果。然后，可以从由搜索算法提供的搜索结果确定补充信息。
在步骤440处，例如响应于步骤410的请求向用户设备发送所确定的补充信息。
图5示意性地例示了用于实现诸如用户设备100的用户设备的示例性结构。
如所例示的，用户设备100包括显示器110、一个或更多个处理器140以及存储器150。显示器110、接口120以及存储器150和接口120例如使用用户设备100的一个或更多个内部总线系统联接到处理器140。进一步地，设备可以包括用于提供用户设备100的网络连接的一个或更多个接口120(例如，一个或更多个无线电接口和/或一个或更多个基于线路的接口)。
存储器150包括具有由处理器140执行的程序代码的程序代码模块160、170、180。在所例示示例中，这些程序代码模块包括一个或更多个应用160、显示内容分析模块170以及补充信息呈现模块180。
应用160可以提供要在显示器110上显示的内容，例如如关于图3的步骤310所解释的。显示内容分析模块170可以捕捉屏幕截图并基于屏幕截图获得补充信息，如关于图3的步骤320至350所解释的。补充信息呈现模块180可以向用户设备100的用户指示补充信息，如关于图3的步骤360所解释的。
应当理解，如图5例示的结构仅是示例性的，并且用户设备100还可以包括尚未例示的其他元件(例如，用于实现用户设备100的已知功能(例如，通信功能、媒体处理功能等)的结构或程序代码模块)。
如可以看到的，如上所解释的概念允许向用户有效地提供补充信息。具体地，与由特定应用显示的内容有关的补充信息可以在不需要修改应用或如与应用相关联的服务的情况下被提供。
应当理解，如上解释的概念易于作出各种修改。例如，所述概念可以关于各种类型的服务/应用以及关于各种类型的网络技术应用于各种类型的设备中。进一步地，应当理解，各种类型的用户动作可以被限定为触发补充信息的提供。进一步地，除了覆盖框之外或作为覆盖框的另选方式，还可以利用指示补充信息的各种方式(例如，由声音消息指示补充信息)。

Claims (20)

1.一种控制用户设备(100)的方法，所述方法包括以下步骤：
在所述用户设备(100)的显示器(110)上显示内容(210、220)；
捕捉所述显示器(110)的屏幕截图；
基于所述屏幕截图，获得与所显示的内容(210、220)有关的补充信息(230)；以及
向所述用户设备(100)的用户指示所述补充信息(230)。
2.根据权利要求1所述的方法，所述方法包括以下步骤：
对所捕捉的屏幕截图执行图像识别；以及
基于通过所述图像识别所识别的至少一个对象(210)获得所述补充信息(230)。
3.根据权利要求1或权利要求2所述的方法，所述方法包括以下步骤：
对所述所捕捉的屏幕截图执行文本识别；以及
基于通过所述文本识别所识别的至少一个对象(220)获得所述补充信息(230)。
4.根据权利要求1至3中任一项所述的方法，所述方法包括以下步骤：
检测所述用户的动作；以及
基于所检测的动作，触发所述屏幕截图的所述捕捉和所述补充信息(230)的获得。
5.根据权利要求4所述的方法，
其中，所述动作包括在所述显示器(110)上轻敲。
6.根据权利要求4或权利要求5所述的方法，所述方法包括以下步骤：
基于所述所检测的动作，识别所述显示器(110)的区域；以及
基于所识别的区域获得所述补充信息(230)。
7.根据权利要求1至6中任一项所述的方法，所述方法包括以下步骤：
识别提供所述所显示的内容(210、220)的应用；以及
基于所识别的应用获得所述补充信息(230)。
8.根据权利要求1至7中任一项所述的方法，
其中，所述补充信息的所述指示包括在所述显示器(110)上生成覆盖框(230)。
9.根据权利要求1至8中任一项所述的方法，
其中，所述补充信息(230)包括与由所述所显示的内容(210、220)示出的对象有关的一个或更多个动作。
10.根据权利要求1至9中任一项所述的方法，
其中，所述补充信息(230)的所述获得包括从所述用户设备(100)向基于网络的服务发送请求。
11.一种用户设备(100)，所述用户设备(100)包括：
显示器(110)；以及
至少一个处理器(140)，所述至少一个处理器(140)被配置为：
-在所述用户设备(100)的所述显示器(110)上显示内容(210、220)；
-捕捉所述显示器(110)的屏幕截图；
-基于所述屏幕截图，获得与所显示的内容(210、220)有关的补充信息(230)；以及
-向所述用户指示所述补充信息(230)。
12.根据权利要求11所述的用户设备(100)，
其中，所述至少一个处理器(140)被配置为：
-对所捕捉的屏幕截图执行图像识别；以及
-基于通过所述图像识别所识别的至少一个对象(210)获得所述补充信息(230)。
13.根据权利要求11或权利要求12所述的用户设备(100)，
其中，所述至少一个处理器(140)被配置为：
-对所述所捕捉的屏幕截图执行文本识别；以及
-基于通过所述文本识别所识别的至少一个对象(220)获得所述补充信息(230)。
14.根据权利要求11至13中任一项所述的用户设备(100)，
其中，所述至少一个处理器(140)被配置为：
检测所述用户的动作；以及
基于所检测的动作，触发所述屏幕截图的所述捕捉和所述补充信息(230)的获得。
15.根据权利要求14所述的用户设备(100)，
其中，所述动作包括在所述显示器(110)上轻敲。
16.根据权利要求14或权利要求15所述的用户设备(100)，
其中，所述至少一个处理器(140)被配置为：
基于所述所检测的动作，识别所述显示器(110)的区域；以及
基于所识别的区域获得所述补充信息(230)。
17.根据权利要求11至16中任一项所述的用户设备(100)，
其中，所述至少一个处理器(140)被配置为：
-识别提供所述所显示的内容(210、220)的应用；以及
-基于所识别的应用获得所述补充信息(230)。
18.根据权利要求11至17中任一项所述的用户设备(100)，
其中，所述至少一个处理器被配置为通过在所述显示器上生成覆盖框来指示所述补充信息。
19.根据权利要求11至18中任一项所述的用户设备(100)，
其中，所述补充信息(230)包括与在所述所显示的内容(210、220)中示出的对象有关的一个或更多个动作。
20.根据权利要求11至19中任一项所述的用户设备(100)，所述用户设备(100)包括：
到基于网络的服务的接口(120)；
其中，所述至少一个处理器(140)被配置为通过从所述用户设备(100)向所述基于网络的服务发送请求来获得所述补充信息(230)的至少一部分。
CN201580062088.2A 2014-11-18 2015-05-18 补充信息的基于屏幕截图的指示 Pending CN107004122A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/546,169 2014-11-18
US14/546,169 US20160139777A1 (en) 2014-11-18 2014-11-18 Screenshot based indication of supplemental information
PCT/EP2015/060859 WO2016078779A1 (en) 2014-11-18 2015-05-18 Screenshot based indication of supplemental information

Publications (1)

Publication Number Publication Date
CN107004122A true CN107004122A (zh) 2017-08-01

Family

ID=53189058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580062088.2A Pending CN107004122A (zh) 2014-11-18 2015-05-18 补充信息的基于屏幕截图的指示

Country Status (4)

Country Link
US (1) US20160139777A1 (zh)
EP (1) EP3221817B1 (zh)
CN (1) CN107004122A (zh)
WO (1) WO2016078779A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319489A (zh) * 2018-02-13 2018-07-24 广东欧珀移动通信有限公司 应用页面的启动方法、装置、存储介质及电子设备
CN109271983A (zh) * 2018-09-27 2019-01-25 青岛海信电器股份有限公司 屏幕画面截图中识别物体的显示方法及显示终端
CN112835495A (zh) * 2019-11-22 2021-05-25 华为技术有限公司 开启应用程序的方法、装置及终端设备
US11812188B2 (en) 2018-09-27 2023-11-07 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016033744A1 (en) * 2014-09-03 2016-03-10 Hewlett-Packard Development Company, L.P. Screen-image based classification
US10423657B2 (en) * 2015-07-15 2019-09-24 Rewardstyle, Inc. Systems and methods for screenshot linking
KR102478952B1 (ko) * 2016-01-05 2022-12-20 삼성전자주식회사 영상 저장을 위한 방법 및 그 장치
KR102561711B1 (ko) * 2016-02-26 2023-08-01 삼성전자주식회사 컨텐트를 인식하는 방법 및 장치
US11249616B2 (en) * 2017-01-17 2022-02-15 Google Llc Assistive screenshots
GB2577989B (en) * 2018-09-30 2021-03-24 Lenovo Beijing Co Ltd Information processing method and electronic device
CN109274828B (zh) 2018-09-30 2021-01-15 华为技术有限公司 一种生成截图的方法、控制方法及电子设备
US11375283B2 (en) 2018-10-30 2022-06-28 Sony Group Corporation Configuring settings of a television
KR20200100918A (ko) * 2019-02-19 2020-08-27 삼성전자주식회사 카메라를 이용하는 어플리케이션을 통해 다양한 기능을 제공하는 전자 장치 및 그의 동작 방법
US11030397B1 (en) * 2020-12-03 2021-06-08 Capital One Services, Llc Methods and systems for populating application-specific information using overlay applications
JP7378165B2 (ja) * 2021-05-18 2023-11-13 グリー株式会社 画像処理プログラム、画像処理プログラムおよび画像処理装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147115A (zh) * 2005-03-22 2008-03-19 微软公司 操作系统程序运行菜单搜索
US20080082426A1 (en) * 2005-05-09 2008-04-03 Gokturk Salih B System and method for enabling image recognition and searching of remote content on display
CN101981570A (zh) * 2008-04-01 2011-02-23 雅虎公司 用于与内容对象集成、关联和交互的开放式架构
US20110081948A1 (en) * 2009-10-05 2011-04-07 Sony Corporation Mobile device visual input system and methods
CN102737238A (zh) * 2011-04-01 2012-10-17 洛阳磊石软件科技有限公司 基于手势动作的字符识别系统、方法、及其应用
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技（深圳）有限公司 一种信息处理方法及装置
CN103136228A (zh) * 2011-11-25 2013-06-05 阿里巴巴集团控股有限公司 一种图片搜索方法以及图片搜索装置
US20130318083A1 (en) * 2012-05-24 2013-11-28 International Business Machines Corporation Method and apparatus for obtaining content in screenshot
EP2703980A2 (en) * 2012-08-28 2014-03-05 Samsung Electronics Co., Ltd Text recognition apparatus and method for a terminal
CN104090762A (zh) * 2014-07-10 2014-10-08 福州瑞芯微电子有限公司 一种截图处理装置和方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010056439A1 (en) * 2000-04-26 2001-12-27 International Business Machines Corporation Method and system for accessing interactive multimedia information or services by touching marked items on physical documents
TW494323B (en) * 2000-08-29 2002-07-11 Ibm System and method for locating on a physical document items referenced in another physical document
US6940491B2 (en) * 2000-10-27 2005-09-06 International Business Machines Corporation Method and system for generating hyperlinked physical copies of hyperlinked electronic documents
US20020069223A1 (en) * 2000-11-17 2002-06-06 Goodisman Aaron A. Methods and systems to link data
US7181502B2 (en) * 2002-03-21 2007-02-20 International Business Machines Corporation System and method for locating on electronic documents items referenced in a physical document
US9165478B2 (en) * 2003-04-18 2015-10-20 International Business Machines Corporation System and method to enable blind people to have access to information printed on a physical document
US20070044013A1 (en) * 2005-08-18 2007-02-22 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for saving content of a mobile terminal display
US8560702B2 (en) * 2006-07-11 2013-10-15 At&T Intellectual Property I, L.P. Saving and retrieval of browser sessions
US7970649B2 (en) * 2007-06-07 2011-06-28 Christopher Jay Wu Systems and methods of task cues
EP2051173A3 (en) * 2007-09-27 2009-08-12 Magix Ag System and method for dynamic content insertion from the internet into a multimedia work
US9245182B2 (en) * 2008-03-28 2016-01-26 International Business Machines Corporation Enhancing data in a screenshot
US20120131520A1 (en) * 2009-05-14 2012-05-24 Tang ding-yuan Gesture-based Text Identification and Selection in Images
CN101576878A (zh) * 2009-06-17 2009-11-11 董名垂 用户勾圈网页即时翻译系统及方法
US8600824B2 (en) * 2010-04-28 2013-12-03 Verizon Patent And Licensing Inc. Image-based product marketing systems and methods
US20110288931A1 (en) * 2010-05-20 2011-11-24 Google Inc. Microsite models
US8756503B2 (en) * 2011-02-21 2014-06-17 Xerox Corporation Query generation from displayed text documents using virtual magnets
US9424471B2 (en) * 2011-03-01 2016-08-23 Sony Corporation Enhanced information for viewer-selected video object
EP2587745A1 (en) * 2011-10-26 2013-05-01 Swisscom AG A method and system of obtaining contact information for a person or an entity
US8850301B1 (en) * 2012-03-05 2014-09-30 Google Inc. Linking to relevant content from an ereader
US20130297998A1 (en) * 2012-05-04 2013-11-07 Qualcomm Innovation Center, Inc. Processing of displayed content to augment viewing
KR20140030361A (ko) * 2012-08-27 2014-03-12 삼성전자주식회사 휴대단말기의 문자 인식장치 및 방법
US20140189576A1 (en) * 2012-09-10 2014-07-03 Applitools Ltd. System and method for visual matching of application screenshots
US9170714B2 (en) * 2012-10-31 2015-10-27 Google Technology Holdings LLC Mixed type text extraction and distribution
US9058100B2 (en) * 2012-11-06 2015-06-16 Fang Li Using motion gestures to send, save, delete, and reject a message
KR20140072651A (ko) * 2012-12-05 2014-06-13 엘지전자 주식회사 글래스타입 휴대용 단말기
KR20150132415A (ko) * 2013-03-15 2015-11-25 어플라이드 머티어리얼스, 인코포레이티드 배터리 활성 재료 제작 분야를 위한 높은 고체 비율 슬러리의 재료 분무 증착용 장치
US9129327B1 (en) * 2014-02-18 2015-09-08 Splendid Labs, Inc. Screenshot-based e-commerce
US10261658B2 (en) * 2014-10-28 2019-04-16 Adobe Inc. Automating user operations using screen shots and file names
US20160275879A1 (en) * 2015-03-20 2016-09-22 Microsoft Technology Licensing, Llc Augmenting content for electronic paper display devices

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101147115A (zh) * 2005-03-22 2008-03-19 微软公司 操作系统程序运行菜单搜索
US20080082426A1 (en) * 2005-05-09 2008-04-03 Gokturk Salih B System and method for enabling image recognition and searching of remote content on display
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
CN101981570A (zh) * 2008-04-01 2011-02-23 雅虎公司 用于与内容对象集成、关联和交互的开放式架构
US20110081948A1 (en) * 2009-10-05 2011-04-07 Sony Corporation Mobile device visual input system and methods
CN102737238A (zh) * 2011-04-01 2012-10-17 洛阳磊石软件科技有限公司 基于手势动作的字符识别系统、方法、及其应用
CN103136228A (zh) * 2011-11-25 2013-06-05 阿里巴巴集团控股有限公司 一种图片搜索方法以及图片搜索装置
US20130318083A1 (en) * 2012-05-24 2013-11-28 International Business Machines Corporation Method and apparatus for obtaining content in screenshot
EP2703980A2 (en) * 2012-08-28 2014-03-05 Samsung Electronics Co., Ltd Text recognition apparatus and method for a terminal
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技（深圳）有限公司 一种信息处理方法及装置
CN104090762A (zh) * 2014-07-10 2014-10-08 福州瑞芯微电子有限公司 一种截图处理装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邱立松等: "文本图像信息的提取和识别", 《计算机与数字工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108319489A (zh) * 2018-02-13 2018-07-24 广东欧珀移动通信有限公司 应用页面的启动方法、装置、存储介质及电子设备
US10846460B2 (en) 2018-02-13 2020-11-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and apparatus for launching application page, and electronic device
CN109271983A (zh) * 2018-09-27 2019-01-25 青岛海信电器股份有限公司 屏幕画面截图中识别物体的显示方法及显示终端
CN109271983B (zh) * 2018-09-27 2022-04-12 海信视像科技股份有限公司 屏幕画面截图中识别物体的显示方法及显示终端
US11812188B2 (en) 2018-09-27 2023-11-07 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
CN112835495A (zh) * 2019-11-22 2021-05-25 华为技术有限公司 开启应用程序的方法、装置及终端设备
CN112835495B (zh) * 2019-11-22 2023-04-07 华为技术有限公司 开启应用程序的方法、装置及终端设备

Also Published As

Publication number Publication date
EP3221817B1 (en) 2020-03-18
US20160139777A1 (en) 2016-05-19
WO2016078779A1 (en) 2016-05-26
EP3221817A1 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
CN107004122A (zh) 补充信息的基于屏幕截图的指示
US11227326B2 (en) Augmented reality recommendations
US11019180B2 (en) Goods order processing method and apparatus, server, shopping terminal, and system
CN109816441B (zh) 策略推送方法、系统及相关装置
US10657490B2 (en) Inventorying items using image data
CN110033293B (zh) 获取用户信息的方法、装置及系统
CN108073605A (zh) 一种业务数据的加载、推送、交互信息的生成方法和装置
CN105488154A (zh) 主题应用推荐方法及装置
US20180020252A1 (en) Information display method, channel management platform, and terminal
EP3188034A1 (en) Display terminal-based data processing method
CN107341006A (zh) 锁屏壁纸推荐方法及相关产品
US10255243B2 (en) Data processing method and data processing system
CN112200631B (zh) 一种行业分类模型的训练方法及装置
CN108090206A (zh) 评论信息的排序方法及装置、电子设备
CN110322305A (zh) 数据对象信息提供方法、装置及电子设备
JP2018128955A (ja) スクリーンショット画像解析装置、スクリーンショット画像解析方法、およびプログラム
CN107679563A (zh) 图像处理方法和装置、系统、计算机设备
CN104216969B (zh) 阅读标记方法及装置
CN110858375A (zh) 数据、显示处理方法、装置、电子设备和存储介质
CN107665447B (zh) 信息处理方法和信息处理设备
KR20140136088A (ko) 증강현실을 이용한 컨텐츠 제공 방법, 이를 위한 시스템 및 장치
CN110677448A (zh) 关联信息推送方法、装置和系统
CN115271854A (zh) 宽带套餐推荐方法、装置、电子设备及存储介质
CN110580486A (zh) 一种数据处理方法、装置、电子设备和可读介质
US20190266461A1 (en) Fingerprint-based experience generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170801