CN104145267B - 进行图像搜索的系统和方法 - Google Patents

进行图像搜索的系统和方法 Download PDF

Info

Publication number
CN104145267B
CN104145267B CN201280071072.4A CN201280071072A CN104145267B CN 104145267 B CN104145267 B CN 104145267B CN 201280071072 A CN201280071072 A CN 201280071072A CN 104145267 B CN104145267 B CN 104145267B
Authority
CN
China
Prior art keywords
project
described image
item
search
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280071072.4A
Other languages
English (en)
Other versions
CN104145267A (zh
Inventor
杰森·维滕施泰因-韦弗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104145267A publication Critical patent/CN104145267A/zh
Application granted granted Critical
Publication of CN104145267B publication Critical patent/CN104145267B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Abstract

进行图像搜索的系统和方法包括接收内容，接收从该内容选择图像的请求，在该图像中选择多个项目，检索与所选择的项目相关的信息，并且基于所检索的信息提供显示数据。

Description

进行图像搜索的系统和方法
背景技术
本发明总体上涉及搜索图像，更具体地涉及搜索图像以检索信息。
发明内容
这里描述了进行图像搜索的系统和方法的实施方式。一个实施方式是一种系统，其包括被配置为从媒体源接收视频内容的处理电路。该系统可以进一步包括被配置为接收来自用户的从该视频内容选择图像的请求的处理电路。该系统还可以包括被配置为将图像存储在存储器中的处理电路。该系统可以包括被配置为选择图像中所显示的多个项目的处理电路，其中第一项目具有已知的标识以及第二项目具有未知的标识。该系统还可以包括被配置为对图像中的多个所选择的项目进行突出显示，其中对第一项目的突出显示具有不同于对第二项目的突出显示的外观。该系统还可以进一步包括被配置为接收对第一和第二项目中的一个的用户选择的处理电路。该系统可以包括被配置为检索关于所选择的项目的信息的处理电路。该系统还可以包括被配置为基于所检索的信息提供显示数据的处理电路。
另一个实施方式是一种方法，其包括在处理器从媒体源接收视频内容。该方法还可以包括在处理器接收来自用户的从该视频内容选择图像的请求。该方法可以进一步包括将该图像存储在存储器中。该方法可以包括选择该图像中的多个项目，其中第一项目具有已知的标识以及第二项目具有未知的标识。该方法还可以包括对图像中的多个所选择的项目进行突出显示，其中对第一项目的突出显示具有不同于对第二项目的突出显示的外观。该方法可以进一步包括在处理器接收对第一和第二项目中的一个的用户选择。该方法还可以进一步包括检索关于所选择的项目的信息。该方法可以包括基于所检索的信息来提供显示数据。
另一个实施方式是一种用于使用广告服务器计算机进行广告发布的方法。该方法可以包括从媒体源接收基于视频内容所选择的图像。该方法还可以包括利用广告发布标签对包括多个项目的所选择的图像进行标记，该广告发布标签包括广告主所生成的内容，该广告主所生成的内容包括文本、视频或超级链接中的一个。该方法可以进一步包括提供与该广告主相关联的广告。
所提到的这些实施方式不对本公开的范围进行限制或限定，而是提供本公开的实施方式的示例以帮助其理解。能够开发特定实施方式以实现以下优势中的一个或多个。
本公开的一个或多个实施方式的细节在附图和以下描述中给出。本公开的其它特征、方面和优势将从该描述、附图和权利要求而变得显而易见。
附图说明
图1图示了依据所描述的实施方式的选择图像；
图2图示了依据所描述的实施方式的图像中显示的多个所选择的项目；
图3图示了依据所描述的实施方式的突出显示的图像；
图4图示了依据所描述的实施方式的所选择的突出显示的人脸图像；
图5图示了依据所描述的实施方式的基于所检索的关于所选择的项目的信息的显示数据；
图6是依据所描述的实施方式的用于进行视频内容的图像搜索的方法的流程图；
图7是依据所描述的实施方式的用于进行广告发布的方法的流程图；和
图8是依据所描述的实施方式的可以被用来实施该系统和方法的设备的框图。
具体实施方式
媒体源可以通过服务器向各种应用提供视频内容，上述应用诸如web浏览器、在web浏览器内运行的应用、支持互联网的电视等。该视频内容可以包括图像，所述图像可以被提供至诸如服务器、基于客户端的API等的图像匹配系统。例如，(多个)图像文件的格式可以由可以包括图像匹配模块的图像服务器写入，以使得该图像服务器派发的图像在系统检索该(多个)图像文件时被引用。例如，图像服务器可以被配置为使用图像查询来询问web服务器信息，使得当对象被用户选择时，与该图像相关联的信息可以被显示。
术语“第一项目”和“第二项目”是为了本公开内的清楚和简明而被使用。图像内项目的数量可以包括比第一和第二项目多的项目。每个项目可以具有已知的标识、未知飞标识、潜在已知的标识等。
图1图示了依据所描述的实施方式的选择图像100。在图1中，视频内容从媒体源接收并且被显示在显示设备上。在一些实施方式中，视频内容可以由在计算设备上运行的应用提供。在一些实施方式中，该设备可以包括DVR、DVD、Google TV(例如机顶盒、集成的互联网设备等)等等。该视频内容可以包括流内容、网页/网站内容等。该视频内容可以包括多个图像。该计算设备可以被配置为从用户接收该用户将要从视频内容选择图像的通知。在一些实施方式中，该通知可以是暂停、停止视频内容或选择其一部分的请求。该计算设备可以被配置为显示用户输入设备101，例如“图像搜索”输入设备，其被配置为接收对视频内容内的图像的用户选择。用户输入设备101可以出现在显示器的控制面板部分103。该控制面板部分103可以包括播放按钮105、快进/回退按钮107、示出播放视频内容的进度的滑动条109、内容标题111等。在该实施例中，通过使得视频内容的一部分通过控制面板部分而示出，控制面板部分103被示为视频内容上的覆盖。在图1中，图像100示出了人102、壁架上的书104和桌子上的瓶子106。
这里所公开的特征可以在智能电视模块(或所连接的电视模块、混合电视模块等)上实施，所述智能电视模块可以包括被配置为将互联网连接与更多传统电视节目源(例如，经由有线电视、卫星、空中或其它信号所接收的)进行整合的处理电路。该智能电视模块在物理上可以被合并到电视机中或者可以包括诸如机顶盒、蓝光或其它数字媒体播放器、游戏机、酒店电视系统和其它配套设备的单独设备。智能电视模块可以被配置为允许观众搜索并找到web上、本地有线电视频道上、卫星电视频道上或者存储在本地硬盘驱动上的视频、电影、照片和其它内容。机顶盒(STB)或机顶单元(STU)可以包括信息家电设备，其可以包含调谐器并且连接至电视机以及外部信号源，其将信号调谐到然后在电视屏幕或其它显示设备上显示的内容中。智能电视模块可以被配置为提供主画面或顶级画面，其包括用于多个不同应用的图标，诸如web浏览器和多个流媒体服务(例如Netflix、Vudu、Hulu等)、所连接的有线或卫星媒体源、其它web“频道”等等。该智能电视模块可以进一步被配置为向用户提供电子节目指南。针对智能电视模块的配套应用可以在移动计算设备上进行操作以向用户提供与可用节目相关的附加信息，以允许用户对智能电视模块进行控制等等。在替选的实施例中，该特征可以在膝上型计算机或其它个人计算机、智能电话、其它移动电话、手持计算机、平板PC或其它计算设备上实施。
图2图示了依据所描述的实施方式的在图像100中显示的多个所选择项目。该系统接收来自用户的从视频内容选择图像100的请求。图像100可以被存储在存储器中。在一些实施方式中，图像100包括与广告主相关联的广告。该广告可以包括指向与广告主相关联的网页的超链接。在一些实施方式中，在图像100中显示多个项目。多个项目100可以包括但并不限于人脸、对象等。在一些实施方式中，多个项目可以由系统选择或者由视频内容的制作者在视频内容中加标签。在一些实施方式中，多个项目例如可以由用户通过在图像的一部分上拖动地理形状(例如方形、椭圆形等)而进行选择。该系统可以通知用户已经开始了对多个项目的搜索。例如，在图2中，多个项目(例如人202、手表204、书204、瓶子208)利用虚线进行描绘以表明系统和/或用户对该项目的选择。
该系统可能或可能不知道多个项目202、204、206、208的标识，它们可以作为每个项目的状态被存储在存储器中。该系统可以经由显示器向用户提供该标识的状态的通知。例如，在图2中，多个项目可以利用各种颜色进行突出显示。所要注意的是，可以使用许多不同方法来提供项目的标识的状态的通知，例如可以提供听觉、图形、视觉和/或触觉通知。该系统可以对突出显示的区域搜索与项目202、204、206、208相关的另外的信息。该系统可以执行字符识别算法来确定与项目相关联的文本字符。例如，瓶子208可以包括该系统可以用来进一步识别该项目和/或检索与所选择的项目相关的信息的文本。在一些实施方式中，该系统可以通过将图像划分为多个分区、检测多个分区中的每个分区中的特征、分析每个分区中的所检测到的特征、并且确定所检测到的特征是否包括文本，来识别所接收的图像的文本分区。该系统可以被配置为在任意时刻接收取消210该搜索的用户请求；相应于该请求，该系统可以被配置为继续视频内容。控制面板可以提供该系统当前正在尝试识别多个项目而进行搜索的指示212。
图3图示了依据所描述的实施方式的突出图像。图像100中的多个所选择的项目被突出显示。对第一项目的突出显示可以具有与第二项目不同的外观。在图3中，突出显示的区域302、304、306、308可以进行颜色编码(在图3所示的图像中，突出显示的区域302、304、306、308被示出为带有阴影且无法区分，但是应当理解的是，突出显示的区域可以是各种颜色)。该系统可以提供与所选择的项目相关的信息的检索已经完成的通知。例如，在图3中，包围多个项目的虚线被实线替代以指示搜索完成，或者指示搜索是否成功识别出对象。该系统还可以提供有关对项目标识的搜索的状态的通知。例如，在图3中，绿色可以表明项目具有已知的标识，黄色可以表明项目具有多个已知或潜在的标识，而红色则可以表明项目不具有已知的标识。有许多种方法可以被用来提供与项目标识的状态相关的通知。在一些实施方式中，可以提供听觉反馈，例如激活语音的通知。例如，“瓶子的标识已知，手表具有多个标识，而图书没有已知标识”。
该系统可以通过向图像匹配模块发送图像数据而搜索多个搜索项目的标识。该图像数据可以表示已经针对潜在识别所选择的图像的仅一部分。该系统可以基于该搜索而从图像匹配模块接收报告。如果基于该报告为一个项目找到了标识，则该项目是具有已知标识的第一项目。如果基于该报告没有为一个项目找到标识，则该项目是具有未知标识的第二项目。在一些实施方式中，该报告可以指示潜在已知的标识，在这种情况下，该系统可以利用具有与第一和第二项目外观不同的外观的突出对该项目进行显示。例如，该项目可以被该系统识别为可能具有匹配，但是该系统可能需要更多信息。在这种情况下，该系统可以对诸如基于web的服务器或用户的另外源查询更多信息。在一个示例中，多个潜在标识可以被显示给用户以供用户选择特定标识。潜在标识可以是文本描述、图像匹配、文本描述和图像匹配的组合，或者其它潜在的识别信息(例如，指向与该项目相关的网页的web链接等等)。
该系统还可以显示结果314的数量，即项目的数量；匹配的数量等。该用户可以通过选择关闭按钮312而退出搜索并继续视频内容。
图4图示了依据所描述的实施方式的人脸的所选择的突出图像404。该系统可以接收对(多个)项目中的一个的用户选择。用户可以通过d-pad、操纵杆、鼠标或其它适当外设选择(多个)项目，以通过所选择的突出图像进行导航而对用户希望找到并显示附加信息的项目或图像部分做出选择。d-pad可以包括指向性输入设备，包括表示不同方向的不同按钮。d-pad可以是手持遥控器的一部分，其可以进一步包括字母键盘、用于移动鼠标的触摸板、诸如“搜索”热键的热键和/或其它用户输入按钮或设备(例如，用于语音命令的麦克风)。例如，在图4中，用户选择了人脸404。系统检索与所选择的项目404即图4中的人脸相关的信息。
图5图示了依据所描述的实施方式的基于所检索的与所选择项目相关的信息的显示数据。在图5中，该显示数据包括作为覆盖500提供至视频内容的数据。覆盖500可以在任意多个位置被呈现在显示器上。覆盖可以包括显示屏、窗口(例如显示、视频等)、层等。覆盖500可以包括用于查看所有搜索结果、前进通过结果、关闭结果等的(多个)选项。覆盖500可以包括与所选择项目相关的细节。例如，在图5中，覆盖500包括所选择项目即人脸以及诸如姓名、新闻和其它相关信息的附加信息。该系统还可以提供指向互联网上的附加信息的超链接。例如，可以向用户提供指向由所选择项目所表示的人撰写或与之相关的书的链接。
图6是依据所描述的实施方式的用于进行视频内容的图像搜索的方法的流程图。通常，用户从来自媒体源的视频内容选择图像，该系统选择图像内的多个项目并且检索(多个)项目的标识状态，然后用户选择(多个)项目中的一个，并且系统提供与(多个)所选择项目相关的信息。
方法600作为示例而提供，因为存在有执行根据本公开的方法的多种方式。图6所示的方法600能够由各种系统中的一个或其组合来执行或者以其它方式实施。该方法可以通过计算机、计算机程序、客户端、服务器、客户端-服务器关系等来实施。作为示例，方法600在这里被描述为由图1-5的系统100和/或图8的计算设备执行。
该示例方法在框602开始，其中处理器从媒体源接收视频内容，该媒体源可以是服务器计算机、存储器设备(例如数字多功能盘、家庭媒体存储设备等)或者其它来源。在框604，处理器接收来自用户的从视频内容选择图像的请求。框604之后为框606，其中图像被存储在存储器中，所述存储器例如智能电视模块或平板PC上的本地存储器，或者是远程服务器计算机上的存储器设备。框606之后为框608，其中选择图像中的多个项目，其中第一项目具有已知的标识以及第二项目具有未知的标识。在一些实施方式中，该图像包括与广告主商相关联的广告。该广告可以包括指向与广告主相关联的网页的超链接。在一些实施方式中，在图像中显示多个项目。多个项目可以包括但并不限于人脸、对象、地平线等。在一些实施方式中，多个项目可以由系统选择。在一些实施方式中，多个项目可以由用户选择。该系统可以通知用户对多个项目的搜索已经开始。例如，在图2中，多个项目利用虚线描绘以表明对该项目的选择。
多个项目可以具有已知或未知的标识。该系统可以提供与标识状态相关的通知。应注意，可以使用许多不同方法来提供项目的标识状态的通知，例如可以提供听觉、图形、视觉、触觉通知。该系统可以对突出显示的区域搜索有关项目的另外信息。该系统可以执行字符识别算法来确定与项目相关联的文本字符。例如，瓶子可以包括该系统可以用来进一步识别该项目和/或检索与所选择的项目相关的信息的文本。在一些实施方式中，该系统可以通过将图像划分为多个分区、检测多个分区中的每个分区中的特征、分析每个分区中所检测到的特征、并且确定所检测到的特征是否包括文本，来识别所接收的图像的文本分区。该系统可以确定视频内容具有从媒体源接收的视频内容内的预定项目标识符数据。例如，视频内容可以具有该系统可以识别的嵌入式信息。
在一些实施方式中，该系统可以对图像执行识别算法。该识别算法可以对图像扫描具有已知标识的多个项目。该系统可以包括对图像搜索项目的优先级，例如将搜索聚焦于诸如脸部、标志、徽章、词、对象等的项目。在其它实施方式中，视频内容制作者可以对系统进行调节以将内容嵌入在图像内(例如广告、产品等)，这可以调节对图像搜索项目的优先级。在一些实施方式中，用户可以调节对图像搜索项目的优先级，例如将搜索聚焦于(多个)项目和/或排除对其它(多个)项目的搜索。
在一些实施方式中，一些项目可以具有未知的标识。未知的标识可以包括其中(多个)项目被系统识别出但不是(多个)选择项目的情形。该系统可以包括用于被系统识别出但不是(多个)选择项目的(多个)项目(例如树木、天空、草地、道路、水、图案等)的数据库。在一些实施方式中，未知的标识可以包括不是在图像上被聚焦的(多个)项目。
框608之后为框610，其中对图像中的多个选择项目进行突出显示，其中对第一项目的突出显示具有与对第二项目的突出显示不同的外观。该系统可以提供对与选择项目相关的信息的检索已经完成的通知。该系统还可以提供有关搜索项目标识的状态的通知。存在许多方法可以被用来提供有关项目标识的状态的通知。在一些实施方式中，可以提供听觉反馈，例如激活语音的通知。例如，“瓶子的标识已知，手表具有多个标识，而书没有已知标识”。
该系统可以通过向图像匹配模块发送图像数据来搜索多个搜索项目的标识。该系统可以基于该搜索而从图像匹配模块接收报告。如果基于该报告为一个项目找到了标识，则该项目是具有已知标识的第一项目。如果基于该报告没有为一个项目找到标识，则该项目是具有未知标识的第二项目。在一些实施方式中，该报告可以指示潜在已知的标识，并且利用具有与第一和第二项目外观不同的外观的突出对该项目进行突出显示。例如，该项目可以被该系统识别为可能具有匹配，但是该系统可能需要更多信息。在这种情况下，该系统可以对对诸如基于web的服务器或用户另外的源查询更多信息。
框610之后为框612，其中处理器接收对第一和第二项目中的一个的用户选择。框612之后为框614，其中检索与选择项目相关的信息。框614之后为框616，其中提供基于所检索的信息的显示数据。该显示可以是用户界面，诸如图形用户界面、命令行界面、基于web的用户界面、触摸屏等。该显示数据可以包括作为对视频内容的覆盖提供的数据。
图7是依据所描述的实施方式的用于广告发布的方法的流程图。通常，基于来自媒体源的视频内容选择图像，由广告主服务器计算机对所选择的图像内的多个项目加以标签，并且提供与广告主相关联的广告。
方法700作为示例而提供，因为存在执行根据本公开的方法的多种方式。图7所示的方法700能够由各种系统中的一个或其组合来执行或者以其它方式实施。该方法可以通过计算机、计算机程序、客户端、服务器、客户端-服务器关系等来实施。作为示例，方法700在这里被描述为由图1-5的系统100和/或图8的计算设备执行。
该示例方法在框702开始，其中广告服务器计算机从媒体源接收基于视频内容选择的图像。在一些实施方式中，该图像可以由系统选择。在一些实施方式中，用户选择图像。框702之后为框704，其中广告服务器计算机例如响应于用户提供的编程数据而对所选择的图像加以标记。框704之后为框706，其中广告服务器计算机提供与广告主相关联的广告和/或要广告的产品或服务。所选择的图像可以包括具有广告发布标签的多个项目。该广告发布标签可以包括广告主生成的内容。该广告主生成的内容可以包括文本、视频和(多个)超链接。超链接可以包括与广告主相关联的网站。在一些实施方式中，该内容与用户进行交互。在一些实施方式中，该广告发布标签可以由在线社区的用户生成。用户生成的内容可以包括用户简档数据、用户评论、用户偏好以及其它适当的用户生成的内容。例如，用户A可以在来自媒体源的视频内容中选择图像。所选择的图像可以包括多个项目，例如手表。该手表可以利用已知的标识进行识别。用户A可以选择该手表。基于所检索的与所选择的项目相关的信息的显示数据可以包括到ABC手表公司的链接。其还可以包括来自相关在线社区的用户B的评论等。在一些实施方式中，用户评论可以来自不相关的在线社区。例如，@prettyinpink1234”ABC Watches are divine”。
图8是依据所描述的实施方式的可以被用来实施该系统和方法的计算设备800的框图，其作为客户端或服务器或者多个服务器。计算设备800可以包括但并不限于数字计算机，诸如膝上计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机、蜂窝电话、智能电话、移动计算设备(例如，记事簿、电子阅读器等)，等等。
计算设备800包括处理器802、存储器804、接口806和端口808。每个组件802、804、806和808使用各种总线互连，并且可以安装在共用主板上，或者以其它适宜方式进行安装。处理器802能够处理指令以便在计算设备800内执行以在诸如耦合到接口808的显示器810的外部输入/输出设备上显示用于GUI的图形信息，所述指令包括存储在存储器804中的指令。在其它实施方式中，如果适宜，可使用多个处理器和/或多个总线，以及多个存储器和存储器类型。而且，可以连接多个计算设备800，每个设备提供必要操作的一部分(例如，作为服务器组、刀片服务器分组、多处理器系统)。可以包括各种通信端口(例如USB、蓝牙、以太网、无线以太网等)的端口808可以耦合至一个或多个输入/输出设备，诸如键盘、鼠标、指示设备、扫描仪等，或者联网设备(交换机、适配器、桥接器、路由器、集线器、转发器等)。
处理器802例如可以提供设备800的其它组件的协调，诸如用户接口的控制、设备800进行的应用，以及设备800所进行的无线通信。处理器802可以通过耦合到显示器810的接口806(例如控制、显示、外部等)与用户进行通信。显示器810例如可以是TFT(薄膜晶体管液晶显示器)显示器、OLED(有机发光二极管)显示器、其它柔性显示器等。接口806可以包括用于驱动显示器810向用户提供图形、文本和其它信息的电路。接口806可以从用户接收命令(例如语音激活的、文本等)并且对其进行转换以便提供至处理器802。此外，可提供与处理器802进行通信并且使得设备800能够与其它设备进行近距离通信的接口806。例如，接口806可以提供有线通信。在一些实施方式中，可以使用多个接口。计算设备800能够通过接口806进行无线通信，在必要情况下，该接口806可以包括数字信号处理电路。接口806可在各种模式或协议下提供通信，诸如GSM语音呼叫、SMS、EMS或MMS消息发送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。例如，这样的通信可通过射频收发器进行。此外，诸如可使用蓝牙、WiFi或其它这样的收发器进行短距离通信。此外，GPS(全球定位系统)接收器模块可为设备800提供附加的导航和位置相关的无线数据，其可由设备800上运行的应用适当使用。设备800还可以被提供以存储设备已提供附加存储，例如固态闪存。每个组件可以使用各种总线进行互联。若干组件可以安装在公用主板上或者以其它适当方式进行安装。
设备800可以通信音频反馈。在一些实施方式中，音频编解码器可以从用户接收话音信息并且将其转换为可用数字信息。该音频编解码器诸如可以通过扬声器为用户生成可听到的声音，该扬声器例如处于设备的耳机之中。(多种)声音可以包括来自语音电话呼叫的声音、记录的声音(例如语音消息、音乐文件等)、在设备上操作的应用生成的(多种)声音等等。
存储器804存储计算设备800内的信息。在一个实施方式中，存储器804是一个或多个易失性存储单元。在另一个实施方式中，存储器804是一个或多个非易失性存储单元。存储器804还可以是其它形式的计算机可读介质，诸如磁盘或光盘。存储器804能够为计算设备800提供大型存储。在一个实施方式中，存储器804可以是或者可包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或带设备、闪存或其它类似固态存储设备、或者设备阵列，包括存储域网络或其它配置中的设备。计算机程序产品可有形地在信息载体中实现。该计算机程序产品还可包含指令，当被执行时，该指令执行诸如以上所描述的一个或多个方法。该信息载体是计算机或机器可读介质，诸如存储器804、处理器802上的存储器、传播信号等。可以提供扩展存储器并通过接口806将其连接至设备800。
这些计算机程序(例如程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且能够以高级程序和/或面向对象编程语言来实施，和/或以汇编/机器语言来实施。如这里所使用的，术语“机器可读介质”和“计算机可读介质”是指用来向可编程处理器提供机器指令和/或数据的任意计算机程序产品、装置和/或设备(例如磁碟、光盘、存储器、可编程逻辑控制器(PLC)、可编程逻辑设备(PLD))。
为了提供与用户的交互，这里所描述的系统和技术可在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)和用户能够通过其为计算机提供输入的键盘和指示设备(例如鼠标或轨迹球)的计算机上实施。也可以使用其它类型的设备来提供与用户的交互；例如，提供给用户的反馈可以为任意形式的传感器反馈(例如视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可以以任意形式接收，包括声音、话音或触觉输入。
这里所描述的系统和技术的各种实施方式可以以数字电子电路、集成电路、专门设计的ASIC(应用特定集成电路)、计算机硬件、固件、软件和/或其组合来实现。这些各种实施方式可以包括一个或多个计算机程序中的实施方式，该计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程系统可以为专用或通用目的，其被耦合为从存储系统、至少一个输入设备以及至少一个输出设备接收数据和指令并且向其传送数据和指令。
这里所描述的系统和技术可在计算系统中实现，该计算系统包括后端组件、中间件组件或前端组件，或者这些后端、中间件或前端组件的任意组合。该系统的组件可通过任意形式或介质的数字数据通信(例如通信网络)进行互连。通信网络的示例包括局域网(LAN)、广域网(WAN)和互联网。
虽然该说明书包含许多具体实施细节，但是这些不应当被理解为对于任何公开内容的范围或者可以请求保护的范围的限制，而是作为特定于特定公开的特定实施方式的特征的描述。在该说明书中以单独实施方式为背景进行描述的某些特征也能够在单个实施方式中组合实施。相反，以单个实施方式为背景所描述的各种特征也可以在多个实施方式中单独实施或者以任意适当的子组合形式来实施。此外，虽然可以在上文中被描述为在某种组合中起作用或者最初要求如此，但是来自所请求保护的组合的一个或多个特征在一些情况下可以从组合中排出，并且所要求保护的组合可以针对于子组合或子组合的变化形式。
类似地，虽然操作在附图中以特定顺序进行了描述，但是这并不应当被理解为要求这样的操作以所示出的特定顺序或者连续顺序来执行，或者所有图示的操作都要被执行才能实现所期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，以上所描述的实施例中的各种系统组件的划分并不应当被理解为在所有实施例中都要求这样的划分，并且应当理解的是，所描述的程序组件和系统通常在单个软件产品中集成在一起或者被封装到多个软件产品中。
因此，已经对主题的特定实施方式进行了描述。其它实施方式处于以下权利要求的范围之内。在一些情况下，权利要求中所记载的动作能够以不同顺序来执行且仍然实现所期望的结果。此外，附图中所描绘的过程不必要求所示出的特定顺序或者连续顺序来实现所期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

Claims (13)

1.一种进行图像搜索的系统，包括：
处理电路，被配置为：
从媒体源接收视频内容；
接收来自用户的从所述视频内容选择图像的请求；
将所述图像存储在存储器中；
确定所述图像包括在所述图像中显示的多个项目，
进行对已知项目的搜索，每个所述已知项目与在所述图像中显示的所述多个项目中的一个项目相对应，同时提供在所述图像中显示的所述多个项目中的每个项目的第一视觉指示以表明该项目的搜索状态，其中，所述第一视觉指示从指示对所述对应的已知项目的所述搜索正在进行的第一视觉状态被修改为指示对所述对应的已知项目的所述搜索已经完成的第二视觉状态；
基于所述搜索，确定在所述图像中显示的所述多个项目包括具有已知的标识的第一项目以及具有多个已知的标识的第二项目；
通过对所述图像中的所述第一项目和所述第二项目进行突出显示来提供对所选择的图像内的所述多个项目中的每个项目的第二视觉指示，以表明该项目的识别状态，其中所述第一项目的突出显示具有与所述第二项目的突出显示不同的颜色，以表明所述第一项目具有所述已知的标识并且所述第二项目具有所述多个已知的标识；
接收对所述第一项目或所述第二项目中的一个的用户选择；
检索与所选择的项目相关的信息；以及
在显示设备上，基于所检索的信息来在所述视频内容的所述图像的覆盖中提供显示数据，其中所述显示数据包括超链接，所述超链接将所述用户定向到所述显示设备上的其浏览器，以获得与所选择的项目有关的更多信息。
2.根据权利要求1所述的系统，其中所述选择包括对所述图像执行字符识别算法以确定与所述图像中显示的所述项目相关联的文本字符。
3.根据权利要求1所述的系统，其中所述选择包括：确定在从所述媒体源接收的所述视频内容内所述视频内容具有预定项目标识符数据。
4.根据权利要求1所述的系统，其中所述图像包括与广告主相关联的广告，所述广告包括指向与所述广告主相关联的网页的超链接。
5.根据权利要求1所述的系统，其中所述图像中显示的所述多个项目包括人脸、和对象、和场景中的至少一个。
6.根据权利要求1所述的系统，其中所述处理电路进一步被配置为通过以下操作来识别所述图像的文本分区：
将所述图像划分为多个分区；
检测所述多个分区中的每个分区中的特征；
分析每个分区中的所检测到的特征；以及
确定所检测到的特征是否包括文本。
7.根据权利要求1所述的系统，其中所述处理电路进一步被配置为：
搜索多个所选择的项目的标识，其中所述搜索包括向图像匹配模块发送图像数据；
基于所述搜索从所述图像匹配模块接收报告；
如果基于所述报告为一个项目找到了标识，则确定该项目是具有已知标识的第一项目；
如果基于所述报告没有为一个项目找到标识，则确定该项目是具有未知标识的第二项目或者具有多个已知标识的所述第二项目。
8.一种进行图像搜索的方法，包括：
在处理器处从媒体源接收视频内容；
在所述处理器处接收来自用户的经由暂停命令从所述视频内容选择图像的请求；
将所述图像存储在存储器中；
确定所述图像包括所述图像中显示的多个项目；
进行对已知项目的搜索，每个所述已知项目与在所述图像中显示的所述多个项目中的一个项目相对应，同时提供在所述图像中显示的所述多个项目中的每个项目的第一视觉指示以表明该项目的搜索状态，其中，所述第一视觉指示从指示对所述对应的已知项目的所述搜索正在进行的第一视觉状态被修改为指示对所述对应的已知项目的所述搜索已经完成的第二视觉状态；
基于所述搜索，确定在所述图像中显示的所述多个项目包括具有已知的标识的第一项目以及具有多个已知的标识的第二项目；
通过对所述图像中的所述第一项目和所述第二项目进行突出显示来提供对所选择的图像内的所述多个项目中的每个项目的第二视觉指示，以表明该项目的识别状态，其中对所述第一项目的突出显示具有与对所述第二项目的突出显示不同的颜色，以表明所述第一项目具有所述已知的标识并且所述第二项目具有所述多个已知的标识；
在所述处理器处接收对所述第一项目或所述第二项目的用户选择；
检索与所选择的项目相关的信息；以及
在显示设备上，基于所检索的信息来在所述视频内容的所述图像的覆盖中提供显示数据，其中所述显示数据包括超链接，所述超链接将所述用户定向到所述显示设备上的其浏览器，以获得与所选择的项目有关的更多信息。
9.根据权利要求8所述的方法，其中所述选择包括对所述图像执行字符识别算法以确定与所述图像中显示的所述项目相关联的文本字符。
10.根据权利要求8所述的方法，其中所述选择包括：确定在从所述媒体源接收的视频内容内所述视频内容具有预定项目标识符数据。
11.根据权利要求8所述的方法，其中所述图像包括与广告主相关联的广告，所述广告包括指向与广告主相关联的网站的超链接。
12.根据权利要求8所述的方法，其中所述图像中显示的所述多个项目包括人脸、对象和场景中的至少一个。
13.根据权利要求8所述的方法，进一步包括：通过以下操作来识别所述图像的文本分区：
将所述图像划分为多个分区；
检测所述多个分区中的每个分区中的特征；
分析每个分区中的所检测到的特征；以及
确定所检测到的特征是否包括文本。
CN201280071072.4A 2012-01-04 2012-10-16 进行图像搜索的系统和方法 Active CN104145267B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/343,630 2012-01-04
US13/343,630 US9596515B2 (en) 2012-01-04 2012-01-04 Systems and methods of image searching
PCT/US2012/060453 WO2013103429A1 (en) 2012-01-04 2012-10-16 Systems and methods of image searching

Publications (2)

Publication Number Publication Date
CN104145267A CN104145267A (zh) 2014-11-12
CN104145267B true CN104145267B (zh) 2018-04-06

Family

ID=48696063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280071072.4A Active CN104145267B (zh) 2012-01-04 2012-10-16 进行图像搜索的系统和方法

Country Status (5)

Country Link
US (4) US9596515B2 (zh)
EP (1) EP2801043A4 (zh)
KR (1) KR102007999B1 (zh)
CN (1) CN104145267B (zh)
WO (1) WO2013103429A1 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130088662A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 디지털 미디어 콘텐트를 통한 부가 정보 제공 장치, 방법 및 시스템
US10389779B2 (en) 2012-04-27 2019-08-20 Arris Enterprises Llc Information processing
US10277933B2 (en) * 2012-04-27 2019-04-30 Arris Enterprises Llc Method and device for augmenting user-input information related to media content
KR102004262B1 (ko) * 2012-05-07 2019-07-26 엘지전자 주식회사 미디어 시스템 및 이미지와 연관된 추천 검색어를 제공하는 방법
US9258597B1 (en) * 2013-03-13 2016-02-09 Google Inc. System and method for obtaining information relating to video images
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9705728B2 (en) 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
CN103442308A (zh) * 2013-08-22 2013-12-11 百度在线网络技术（北京）有限公司 音视频文件的标注方法、装置以及信息推荐方法和装置
KR20150050016A (ko) * 2013-10-31 2015-05-08 삼성전자주식회사 전자 장치 및 전자 장치에서의 검색 방법
KR102204261B1 (ko) * 2013-11-04 2021-01-18 삼성전자 주식회사 전자 장치 및 이의 어플리케이션 실행 방법
US9747727B2 (en) 2014-03-11 2017-08-29 Amazon Technologies, Inc. Object customization and accessorization in video content
US10417271B2 (en) 2014-11-25 2019-09-17 International Business Machines Corporation Media content search based on a relationship type and a relationship strength
US20160182954A1 (en) 2014-12-18 2016-06-23 Rovi Guides, Inc. Methods and systems for generating a notification
US10497053B2 (en) * 2015-02-27 2019-12-03 3D Product Imaging Inc. Augmented reality E-commerce
CN104618741A (zh) * 2015-03-02 2015-05-13 浪潮软件集团有限公司 一种基于视频内容的信息推送系统及方法
CN104837050B (zh) * 2015-03-23 2018-09-04 腾讯科技（北京）有限公司 一种信息处理方法及终端
CN104751144B (zh) * 2015-04-02 2017-11-17 山东大学 一种面向视频监控的正面人脸快速评价方法
US10970843B1 (en) * 2015-06-24 2021-04-06 Amazon Technologies, Inc. Generating interactive content using a media universe database
US11513658B1 (en) 2015-06-24 2022-11-29 Amazon Technologies, Inc. Custom query of a media universe database
US10440435B1 (en) * 2015-09-18 2019-10-08 Amazon Technologies, Inc. Performing searches while viewing video content
CN107533566A (zh) * 2016-02-25 2018-01-02 华为技术有限公司 对图片的内容进行检索的方法、便携式电子设备和图形用户界面
CN107577686A (zh) * 2016-07-11 2018-01-12 北京陌上花科技有限公司 搜索方法及装置
CN106210765A (zh) * 2016-07-14 2016-12-07 乐视控股（北京）有限公司 一种视频显示方法及装置
KR101886182B1 (ko) 2016-09-28 2018-08-08 서강대학교산학협력단 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템
US10297059B2 (en) * 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
US10110939B1 (en) * 2017-04-24 2018-10-23 Rovi Guides, Inc. Systems and methods for presenting a service application selection window including dynamic icons
CN107422946A (zh) * 2017-07-21 2017-12-01 广州阿里巴巴文学信息技术有限公司 电子书显示方法、装置及终端设备
CN107844238A (zh) * 2017-11-29 2018-03-27 佛山市因诺威特科技有限公司 一种统计浏览器网页信息的方法和系统
CN108197336B (zh) * 2018-03-15 2022-04-22 北京奇艺世纪科技有限公司 一种视频查找的方法及装置
US10965985B2 (en) 2018-05-21 2021-03-30 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
US11507619B2 (en) * 2018-05-21 2022-11-22 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
CN110741652A (zh) * 2018-05-21 2020-01-31 青岛海信电器股份有限公司 具有智能用户界面的显示设备
CN109671378A (zh) * 2018-12-27 2019-04-23 努比亚技术有限公司 一种展示柜交互方法、展示柜及计算机可读存储介质
US10477287B1 (en) 2019-06-18 2019-11-12 Neal C. Fairbanks Method for providing additional information associated with an object visually present in media content
CN111314759B (zh) * 2020-03-02 2021-08-10 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
EP4164234A4 (en) * 2020-06-04 2024-04-10 Lg Electronics Inc IMAGE DISPLAY DEVICE AND OPERATING METHOD THEREOF
US11956518B2 (en) 2020-11-23 2024-04-09 Clicktivated Video, Inc. System and method for creating interactive elements for objects contemporaneously displayed in live video
US20220345754A1 (en) * 2021-04-22 2022-10-27 Shopify Inc. Systems and methods for controlling transmission of live media streams
US20220382808A1 (en) * 2021-05-31 2022-12-01 Google Llc Automated product identification within hosted and streamed videos
CN113691853B (zh) * 2021-07-16 2023-03-28 北京达佳互联信息技术有限公司 页面显示方法、装置及存储介质
US20230308708A1 (en) * 2022-03-25 2023-09-28 Donde Fashion, Inc. Systems and methods for controlling a user interface for presentation of live media streams

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286351A (zh) * 2008-05-23 2008-10-15 广州视源电子科技有限公司 生成流媒体增值描述文件及插播多媒体信息的方法、系统
US7813557B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
US7240075B1 (en) 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
KR20070100975A (ko) * 2005-01-14 2007-10-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 가상 비디오 채널을 구성하는 방법 및 시스템
US20070136773A1 (en) * 2005-12-14 2007-06-14 O'neil Douglas Systems and methods for providing television services using implicit content to indicate the availability of additional content
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
JP5044321B2 (ja) * 2006-09-13 2012-10-10 株式会社リコー 撮像装置および被写体検出方法
US20080098433A1 (en) * 2006-10-23 2008-04-24 Hardacker Robert L User managed internet links from TV
US8407744B2 (en) 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
US8091103B2 (en) 2007-07-22 2012-01-03 Overlay.Tv Inc. Server providing content directories of video signals and linkage to content information sources
KR20090101748A (ko) 2008-03-24 2009-09-29 강민수 사용자의 컴퓨터로부터 선택 정보를 입수 받은 멀티미디어콘텐츠의 재생 시점을 기다려 검색질의어에 기반한 키워드광고 콘텐츠를 제공하는 방법
WO2009137368A2 (en) 2008-05-03 2009-11-12 Mobile Media Now, Inc. Method and system for generation and playback of supplemented videos
US8407084B2 (en) 2008-06-13 2013-03-26 Sony Computer Entertainment America Inc. User selectable game information associated with an asset
KR20100137252A (ko) 2009-06-22 2010-12-30 주식회사 코리아퍼스텍 전자앨범장치 및 이의 구동방법, 전자앨범에 객체정보를 포함하는 동영상 제공방법 및 장치
US8947350B2 (en) 2009-09-14 2015-02-03 Broadcom Corporation System and method for generating screen pointing information in a television control device
US9183224B2 (en) 2009-12-02 2015-11-10 Google Inc. Identifying matching canonical documents in response to a visual query
US9407973B2 (en) * 2009-12-02 2016-08-02 At&T Intellectual Property I, L.P. System and method to identify an item depicted when media content is displayed
US10043193B2 (en) 2010-01-20 2018-08-07 Excalibur Ip, Llc Image content based advertisement system
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US20110321082A1 (en) 2010-06-29 2011-12-29 At&T Intellectual Property I, L.P. User-Defined Modification of Video Content
US8943071B2 (en) * 2011-08-23 2015-01-27 At&T Intellectual Property I, L.P. Automatic sort and propagation associated with electronic documents
US20130174191A1 (en) * 2011-12-29 2013-07-04 United Video Properties, Inc. Systems and methods for incentivizing user interaction with promotional content on a secondary device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7813557B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
CN101286351A (zh) * 2008-05-23 2008-10-15 广州视源电子科技有限公司 生成流媒体增值描述文件及插播多媒体信息的方法、系统

Also Published As

Publication number Publication date
US20130174195A1 (en) 2013-07-04
EP2801043A1 (en) 2014-11-12
KR102007999B1 (ko) 2019-08-06
WO2013103429A1 (en) 2013-07-11
US20230229690A1 (en) 2023-07-20
EP2801043A4 (en) 2015-08-12
US10194206B2 (en) 2019-01-29
US20170188105A1 (en) 2017-06-29
US11611806B2 (en) 2023-03-21
US9596515B2 (en) 2017-03-14
CN104145267A (zh) 2014-11-12
KR20140111328A (ko) 2014-09-18
US20190158922A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
CN104145267B (zh) 进行图像搜索的系统和方法
US10977643B2 (en) Methods, devices and systems for acquiring service, executing operation, and transmitting information
CN101896949B (zh) 用于由便携设备控制的媒体系统的远程控制协议
CN108055589A (zh) 智能电视
CN102722517A (zh) 用于观看者选择的视频对象的增强信息
WO2023016354A1 (zh) 数据交互方法、装置、设备及存储介质
CN107943439A (zh) 界面移动方法、装置、智能终端、服务器和操作系统
CN108600848A (zh) 智能电视以及在用户界面上显示内容的方法
US20150347461A1 (en) Display apparatus and method of providing information thereof
US20230244362A1 (en) Display method, apparatus, device and storage medium
US20130024882A1 (en) Electronic device and social commerce server for performing coupon search
CN108521595A (zh) 基于语音交互的选择推荐位方法、装置及智能电视
CN108111898A (zh) 电视画面截图的图形用户界面的显示方法以及智能电视
US9532109B2 (en) System and method for providing product information of a product viewed in a video
CN105488715A (zh) 目标物信息查询方法及装置
CN104301199A (zh) 一种信息处理方法、装置及系统
CN109583874B (zh) 商品价格更新方法及装置
CN105739834A (zh) 菜单显示方法及装置
KR20070014532A (ko) Ｄｍｂ 방송 시청 중 단문 메시지를 이용한 상품 주문 방법및 이동 통신 단말기
CN110929132B (zh) 信息交互方法、装置、电子设备及计算机可读存储介质
US20110145108A1 (en) Method for obtaining information relating to a product, electronic device, server and system related thereto
CN107590717B (zh) 基于互联网的购物方法、装置和存储介质
CN106302591A (zh) 一种数据传输方法、智能终端及数据传输系统
KR102617419B1 (ko) 사용자 장치, 서비스 제공 장치, 액세스 포인트, 그를 포함하는 음원 정보 제공 시스템, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN114491218A (zh) 信息更新方法、信息更新装置、电子设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant