CN102884538B - 通过内容检测、搜索和信息聚集来丰富在线视频 - Google Patents

通过内容检测、搜索和信息聚集来丰富在线视频 Download PDF

Info

Publication number
CN102884538B
CN102884538B CN201180020853.6A CN201180020853A CN102884538B CN 102884538 B CN102884538 B CN 102884538B CN 201180020853 A CN201180020853 A CN 201180020853A CN 102884538 B CN102884538 B CN 102884538B
Authority
CN
China
Prior art keywords
additional information
online video
group
video
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180020853.6A
Other languages
English (en)
Other versions
CN102884538A (zh
Inventor
梅涛
华先胜
李世鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN102884538A publication Critical patent/CN102884538A/zh
Application granted granted Critical
Publication of CN102884538B publication Critical patent/CN102884538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

许多因特网用户通过在线视频消费内容。例如，用户可观看电影、电视剧、音乐视频、和/或家庭自制视频。向消费在线视频的用户提供附加信息可能是有利的。遗憾的是，许多现有技术不能提供来自外部源的、与在线视频有关的附加信息。相应的，本文描述了用于确定与在线视频相关的一组附加信息的一个或多个系统和/或技术。具体来说，视觉的、文本的、音频、和/或其它特征可从在线视频中提取出来（例如，在线视频的原始内容和/或嵌入的广告）。使用提取出的特征，可基于将提取出的特征与数据库的内容进行匹配来确定附加信息（例如，图像、广告等）。附加信息可被呈现给消费在线视频的用户。

Description

通过内容检测、搜索和信息聚集来丰富在线视频
背景技术
在浏览因特网时，用户通过在线视频与各种内容交互。例如，用户可观看完整长度的电影、广告、蜂窝电话拍摄的家庭视频、电视剧、以及其它内容。用户不仅可通过主站点观看在线视频，还可上传在线视频并与其它用户共享。由于在线视频在用户的因特网体验中扮演了这样一个重要角色，诸如广告和相关服务（例如，新闻、天气、附近交通等）之类的附加信息可被集成在在线视频中以增强用户体验。遗憾的是，现有技术可能会提供与在线视频的原始或嵌入内容无关的附加信息。因此，用户可能常常无视不相关的附加信息，因为其对于用户的兴趣没有吸引力。
概述
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识出所要求保护的主题的关键因素或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
本文公开了用于确定关于在线视频的一组附加信息的一个或多个系统和/或技术等。可以理解一组附加信息可以包括诸如图像、文本、音频、视频等任何数字内容或其组合。在一个示例中，一组附加信息可以是视频广告。在另一示例中，一组附加信息可以是与链接到网页的URL耦合的一组图像。
在一个实施例中，可以接收在线视频。可以理解在线视频可以包括原始内容和/或嵌入的内容，诸如覆盖的广告。可以从在线视频提取一组特征。该组特征可以包括文本特征（例如嵌入的文本）、视频特征（例如纹理、SIFT描述符等）、音频特征和/或在线视频的其他描述性数据。可以基于该组特征确定一组附加信息。例如，可以使用该组特征对数据库（例如广告数据库）执行多峰相关性匹配算法以确定该组附加信息。在一个示例中，可以向消费在线视频的用户呈现该组附加信息。在另一示例中，可以保存该组附加信息以供稍后使用。
在另一实施例中，可以将解析组件配置成将在线视频解析成一个或多个段，一个段包括在线视频的一个帧序列。对于相应的段，解析组件可以提取代表段的帧序列的一个或多个关键帧。因为完整的段可能包括不必要数量的信息，所以提取一个或多个关键帧来表示段。特征提取组件可以被配置成从各个段的一个或多个关键帧提取一组特征。该组特征可以包括文本、视频、音频和/或与在线视频相关的其他特征。信息提取组件可以被配置成使用该组特征对数据库执行多峰相关性匹配算法以确定该组附加信息。呈现组件可以被配置成呈现该组附加信息。在一个示例中，可以在主存在线视频的浏览器中呈现该组附加信息。在另一示例中，可以覆盖在在线视频上呈现该组附加信息。在另一示例中，可以在主存在线视频的媒体播放器的皮肤内呈现该组附加信息。各种不同的呈现模式被认为是落入所要求保护的主题的范围内的。
为实现上述和相关目的，以下描述和附图阐明了某些说明性方面和实现。这些方面仅指示了可采用一个或多个方面的各种方法中的少数几种。结合附图考虑下面的详细描述，则本发明的其他方面、优点和新颖特征将变得清楚。
附图描述
图1是示出确定与在线视频相关的一组附加信息的示例性方法的流程图。
图2是示出用于确定与在线视频相关的一组附加信息的示例性系统的组件框图。
图3是示出用于确定与在线视频相关的一组附加信息的示例性系统的组件框图。
图4是检测主存在web浏览环境内的在线视频的视觉特征的示例的图示。
图5是检测在线视频的视觉特征和/或文本特征的示例的图示。
图6是基于从在线视频提取的一组特征确定一组附加信息的信息提取组件的示例的图示。
图7是向消费在线视频的用户呈现附加信息的示例的图示。
图8是向消费在线视频的用户呈现附加信息的示例的图示。
图9是向消费在线视频的用户呈现附加信息的示例的图示。
图10是其中可以包括被配置成包含此处所阐明的一个或多个供应的处理器可执行指令的示例性计算机可读介质的图示。
图11是示出其中可以实现此处所阐明的一个或多个供应的示例性计算环境。
详细描述
现在参照附图描述所要求保护的主题，全部附图中，相同的附图标记用于指代相同的元素。在以下描述中，为解释起见，阐明了众多具体细节以提供对所要求保护的主题的全面理解。然而，显然，所要求保护的主题能够在无需这些具体细节的情况下实施。在其它情况中，以框图形式示出结构和设备以便于描述所要求保护的主题。
当今，大部分的因特网内容是在线视频的形式的。例如，电视节目可以作为在线视频进行流传送以供用户消费。与在线视频一起提供附加的相关性信息会是有利的。例如，如果用户正在观看包括促销汽车视频的在线视频，那么确定在线视频的内容与车相关将是有用的。使用检测到的汽车特征，可以向用户提供与汽车相关的附加信息（例如到汽车网站的URL）以增强其体验。
不幸的是，当前的技术可能无法检测在线视频的特征和/或嵌入在在线视频内的内容的特征。此外，当前的技术可能不会使用检测到的嵌入的内容的特征来搜索外部的源以获取与嵌入的内容有关的附加信息。换而言之，当前的技术可能不搜索诸如广告数据库的外部数据库以获取除在线视频和/或嵌入在在线视频内的内容的内容生产者之外的源生成的附加信息。
相应地，此处提供了用于确定与在线视频相关的一组附加信息的一种或多种系统和/或技术。具体地，在线视频的特征可以从在线视频的原始内容和/或嵌入的内容（例如广告）提取。该特征可用作对诸如广告数据库的数据库的搜索准则以便确定与在线视频有关的附加信息。可以理解用户可能对在线视频的内容感兴趣，因为用户选择花费他们的浏览时间来观看在线视频。以此方式，可以通过向用户提供与在线视频和/或用户的兴趣相关的附加信息来增强用户的体验。
确定与在线视频相关的一组附加信息的一个实施例由图1中的示例性方法100例示。在102处，方法开始。在104处，可以接收在线视频。在线视频可以包括原始内容和/或诸如覆盖广告的附加的嵌入的内容。可以理解，接收在线视频可以作为获取对在线视频的内容的访问来互操作（例如，当用户使用浏览器或媒体播放器消费在线视频时访问在线视频的实时数据流、访问在线视频所存储的副本、从主存在线视频的源请求在线视频、通过显示在线视频的浏览器访问在线视频时等）。
在106处，可以从在线视频提取一组特征。该组特征可以包括文本特征、视觉特征和/或音频特征中的至少一个。在一个示例中，可以使用诸如OCR文本识别技术的一个或多个文本特征提取技术来提取文本特征（例如叠加的文本）。在另一示例中，可以用诸如比例不变特征变换的一种或多种视觉特征提取技术来提取视觉特征（例如彩色柱状图、纹理、SIFT描述符）。可以理解在一个示例中，可以提取多于一个特征作为该组特征（例如两个文本特征作为一组特征、一个文本特征和两个音频特征作为一组特征、一百个视觉特征和三十个文本特征等）。
在108处，可以基于该组特征确定一组附加信息。在一个示例中，可以使用该组特征对数据库执行多峰相关性匹配算法。具体地，多峰相关性匹配算法可以将该组特征内的特征与数据库内诸如广告、图像、视频等附加信息的特征匹配。例如，该组特征可以包括车辆的视觉特征和文字“tires（轮胎）”的文本特征。多峰相关性算法可能试图将视觉车辆特征和/或文本轮胎特征与相关于车辆和/或轮胎的图像、视频、网页URL和/或其他内容匹配。可以基于匹配的内容确定与在线视频相关的该组附加信息。可以在显示器上呈现该组附加信息。例如，可以将该组附加信息呈现为覆盖在在线视频上或嵌入在其中的视频。在110处，方法结束。
确定与在线视频相关的一组附加信息的一个实施例由图2中的示例性方法200例示。在202处，方法开始，在204处，可以接收在线视频。在206处，可以将在线视频解析成一个或多个段，一个段包括一个帧序列。可以分割在线视频以便将在线视频解析成可从中标识和提取特征的可管理的段。为了协助分段，可以基于两个连续的帧之间的较大的视觉差异来确定边界。此外，段例如可以被指定为促销内容（例如嵌入的促销内容）或节目内容（例如在线视频的原始内容）。
为了进一步缩小从在线视频使用的信息量，可以在208处对相应的段提取一个或多个关键帧。关键帧可以是段内代表段的帧序列的帧。例如，可以选择中间帧或具有超过预定阀值的视频质量的帧作为关键帧。选择关键帧降低了从在线视频使用的不必要的和/或冗余的数据的量。
在210处，可以从相应的段的一个或多个关键帧提取一组特征。在一个示例中，一组特征可以包括一个或多个文本特征和/或一个或多个视觉特征。在212处，可以使用该一个或多个文本特征对数据库执行基于文本的搜索算法以确定第一候选附加信息列表。例如，文本特征可以被用作关键词来搜索数据库以获取包括匹配的关键词的内容。在214处，可以使用一个或多个视觉特征对数据库执行基于视觉的搜索算法以确定第二候选附加信息列表。例如，可以将视觉特征与数据库内包含匹配视觉特征的内容匹配。
在216处，可以对第一列表和第二列表执行线形组合以生成一组候选附加信息。例如该组候选附加信息可以包括图像、URL、视频、广告和/或匹配在线视频的特征的其他内容。可以理解该组候选附加信息或其部分可以被用作一组附加信息。在一个示例中，该组候选附加信息可以被用作该组附加信息。在另一示例中，可以从该组候选附加信息中选出预定数据的候选以生成该组附加信息。因为该组候选附加信息可包括可以被用作附加信息的大量内容，所以可以选择预定数据的候选内容。换而言之，该组候选附加信息可能包括跨越长于在线视频的时间帧的广告视频的组合。在一个示例中，可以选择与在线视频具有高度相关性的一个或多个候选。可以将该组附加信息聚集成向参与在线视频的用户呈现的视频。在218处，方法结束。
图3示出了被配置成用于确定与在线视频302相关的一组附加信息的系统300的一个示例。系统300可以包括解析组件304、特征提取组件308、信息提取组件312和/或呈现组件316。系统300可以使用数据库320。数据库320可以包括诸如文本、URL、图像、视频、音频的格式和/或其他数字格式（例如广告视频、促销图像或文本、链接到网页的URL、优惠券数据、消费者意见、非促销内容等）的数字内容（潜在的附加内容候选）。
解析组件304可以被配置成将在线视频302解析成一个或多个段，一个段包括在线视频302的一个帧序列。解析组件304可以被配置成从一个或多个段提取关键帧306。具体地，解析组件304可以提取代表段的帧序列的一个或多个关键帧。
特征提取组件308可以被配置成从关键帧306提取一组特征310。该组特征310可以包括文本特征、视觉特征和/或音频特征中的至少一个。在一个示例中，特征提取组件308可以包括文本识别组件、视觉识别组件和/或音频识别组件。文本识别组件可以被配置成使用ORC文本识别技术和/或其他文本识别技术提取一个或多个文本特征。视觉识别组件可以被配置成使用比例不变特征变换和/或其他视觉识别技术提取一个或多个视觉特征。音频识别组件可以被配置成使用一个或多个音频识别技术提取一个或多个音频特征。各种不同的视觉、文本和音频识别技术被认为是落入所要求保护的主体的范围内的。
信息提取组件312可以被配置成使用该组特征310对数据库320执行多峰相关性匹配算法以确定该组附加信息314。在一个示例中，多峰相关性匹配算法可以被配置成使用文本特征在数据库320上执行基于文本的搜索算法以确定第一候选附加信息列表。多峰相关性匹配算法可以被配置成使用视觉特征在数据库320上执行基于视频的搜索算法以确定第二候选附加信息列表。多峰相关性匹配算法可以执行第一列表和第二列表的线形组合以生成该组附加信息314。信息提取组件312可以被配置成将该组附加信息314聚集到视频中。
在一个示例中，呈现组件316可以被配置成呈现该组附加信息314。在另一示例中，呈现组件可以被配置成在web浏览环境318内向消费在线视频302的用户呈现视频。
图4示出了检测主存在web浏览环境内的在线视频404的视觉特征的一个示例400。可以理解在线视频404可以主存在由web浏览器显示的网页内、web浏览器的媒体播放器插件内、与web浏览器分开的媒体播放器内和/或其他在线视频播放设备内。可以在在线视频404内检测视觉特征和/或提取其作为一组特征的一部分。例如，可以检测和/或提取云412、太阳410、树402、车辆406、轮胎408和/或其他视觉特征。可以确定与所提取的视觉特征相关的附加信息和/或将其呈现给消费在线视频404的用户。在一个示例中，可以基于太阳410、云412和/或树402呈现与度假有关的附加信息。在另一示例中，可以基于车辆406和/或轮胎408呈现与车辆评论有关的附加信息。以此方式，由于可以向用户呈现用户可能感兴趣的附加相关信息，因此可增强用户的体验。
图5示出了检测在线视频504的视觉特征和/或文本特征的一个示例500。可以在在线视频504内检测视觉特征和/或提取其作为一组特征的一部分。例如，可以检测和/或提取车辆508、轮胎510和/或道路502。可以在在线视频504内检测文本特征和/或提取其作为该组特征的一部分。例如，可以检测和/或提取嵌入的文本506“Test drive a new car today by visiting car maker website…（今天通过参观汽车制造商网站来试驾新车…）”或其部分。可以理解字母、单个单词、词组、句子和/或词的其他逻辑分组作为文本特征。换而言之，嵌入的文本506可以被解析成一个或多个特征（例如试驾、汽车制造商等）。使用视觉特征和/或文本特征，可以向消费在线视频504的用户呈现附加信息。例如，可以基于车辆508的视觉特征和/或汽车制造商文本特征呈现到由汽车制造商主存的网站的URL的附加信息。
图6示出了基于从在线视频提取一组特征604来确定一组附加信息608的信息提取组件602的一个示例600。在一个示例中，信息提取组件602可能已经从在线视频提取了视觉特征（车辆、树、太阳、云、道路等）、文本特征（车辆、驾驶、汽车制造商、网站等）、音频特征（车辆引擎噪音、口语单词等）和/或其他特征。信息提取组件602可以使用该组特征604来确定来自数据库606内的一组附加信息608。可以理解数据库606可以包括可能被确定为附加信息的巨大的内容（例如图像、URL、广告、视频、音频等）阵列。
可以理解数据库606内的某些内容（例如该组附加信息608）可以匹配该组特征604内的一个或多个特征，而数据库606内的其他内容（例如不相关的内容610）可能不匹配该组特征604内的特征。以此方式，可以在数据库606内确定与在线视频相关的附加信息（例如数据库606内匹配该组特征604内的特征的内容）。例如，该组附加信息608可以包括车辆图像、汽车制造商网站URL、有关度假的广告、车赛的视频和/或匹配该组特征604的其他内容。不相关的内容610可以被排除在该组附加信息608之外，因为它与该组特征604不相关。例如，如何安装槽的文本描述可能不匹配车辆、树、太阳、云、道路等的视觉特征和/或车辆、驾驶、汽车制造商、网站等的文本特征。
图7示出了向消费在线视频702的用户呈现附加信息704的一个示例700。在一个示例中，可能已经从在线视频702提取了与车辆相关的一组特征。可能已经使用与车辆相关的该组特征确定了车赛视频的附加信息704。在一个示例中，可以例如作为web浏览环境内的视频向用户呈现附加信息704。在另一示例中，可以作为与web浏览环境分开的媒体播放器内的视频呈现附加信息704。各种不同的呈现模式被认为是落入所要求保护的主体的范围内的。
图8示出了向消费在线视频的用户呈现附加信息802的一个示例800。在一个示例中，可能已经从在线视频提取了与车辆相关的一组特征。可能已经使用与车辆相关的该组特征确定了车赛视频的附加信息802。在一个示例中，可以覆盖在在线视频上呈现车赛视频的附加信息802。
图9示出了向消费在线视频902的用户呈现附加信息904的一个示例900。在一个示例中，可能已经从在线视频902提取了与度假相关的一组特征。可能已经使用与度假相关的该组特征确定了有关度假的广告的附加信息904（例如与到提供有关度假的交易的网站的URL耦合的度假的图像）。在一个示例中，可以向消费在线视频902的用户呈现有关度假的广告的附加信息904。以此方式，可以使用例如可能从在线视频902之外的源收集的丰富的附加信息来增强用户的体验。
还有一实施例涉及包括配置成实现此处所呈现的一个或多个技术的处理器可执行指令的计算机可读介质。可以以这些方式设计的示例性计算机可读介质在图10中示出，其中实现1000包括计算机可读介质1016（例如CD-R、DVD-R或硬盘驱动器片），其上是经编码的计算机可读数据1014。该计算机可读数据1014进而包括被配置成依照此处所提出的一个或多个原理运作的一组计算机指令1012。在一个这样的实施例1000中，处理器可执行指令1012可以被配置成执行一方法1010，例如诸如图1的示例性方法100或图2的示例性方法200。在另一这样的实施例中，计算机可执行指令1012可以被配置成实现诸如图3的示例性系统300的系统。本领域的普通技术人员可以设计许多这样被配置成依照此处所呈现的技术运作的计算机可读介质。
尽管用对结构特征和/或方法动作专用的语言描述了本主题，但应该理解所附权利要求书中定义的主题并不限于上述特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式来公开的。
如在本申请中所使用的，术语“组件”、“模块”、“系统”、“接口”等一般旨在表示计算机相关的实体，其可以是硬件、硬件和软件的组合、软件、或者执行中的软件。例如，组件可以是，但不限于是，在处理器上运行的进程、处理器、对象、可执行码、执行的线程、程序和/或计算机。作为说明，运行在控制器上的应用程序和控制器都可以是组件。一个或多个组件可以驻留在进程和/或执行的线程中，并且组件可以位于一个计算机内和/或分布在两个或更多的计算机之间。
此外，所要求保护的主题可以使用产生控制计算机以实现所公开的主题的软件、固件、硬件或其任意组合的标准编程和/或工程技术而被实现为方法、装置或制品。在此使用的术语“制品”旨在涵盖可以从任何计算机可读设备、载体或介质访问的计算机程序。当然，本领域的技术人员会认识到可以对该配置做出许多修改，而不背离所要求保护的主体的范围和精神。
图11和以下讨论提供了对用于实现此处提出的一个或多个提供的实施例的适当的计算环境的简要概括描述。图11的操作环境仅是适当的操作环境的一个示例，而并非旨在对操作环境的使用范围或功能提出任何限制。示例性计算设备包括但不限于个人计算机、服务器计算机、手持式或膝上型设备、移动设备（诸如移动电话、个人数字助理（PDA）、媒体播放器等）、多处理器系统、消费电子产品、小型机、大型计算机、包含上述系统或设备中的任一个的分布式计算环境等。
尽管并非所需，但是各实施例是在由一个或多个计算设备执行的“计算机可读指令”的一般上下文中描述的。计算机可读指令可以经由计算机可读介质分布（如下文中所讨论的）。计算机可读指令可以被实现为诸如函数、对象、应用程序编程接口（API）、数据结构等执行特定的任务或实现特定的抽象数据类型的程序模块。通常，计算机可读指令的功能可以被组合或者按照所需分布在各种环境中。
图11示出了包括被配置成实现此处所提供的一个或多个实施例的计算设备1112的系统1110的一个示例。在一种配置中，计算设备1112包括至少一个处理单元1116和存储器1118。取决于计算设备的确切配置和类型，存储器1118可以是易失性的（例如诸如RAM）、非易失性的（例如诸如ROM、闪存等）或是两者的某种组合。该配置在图11中由虚线1114来例示。
在其他实施例中，设备1112可以包括另外的特征和/或功能。例如，设备1112也可以包括另外的存储（例如可移动和/或不可移动），包括但不限于磁存储、光存储等。这种另外的存储在图11中由存储1120示出。在一个实施例中，用于实现此处所提供的一个或多个实施例的计算机可读指令可位于存储1120中。存储1120也可以存储用于实现操作系统、应用程序等的其他计算机可读指令。计算机可读指令可以被载入到存储器1118中以便由例如处理单元1116执行。
此处所使用的术语“计算机可读介质”包括计算机存储介质。计算机可读介质包括使用用于存储诸如计算机可读指令或其他数据的信息的任何方法或技术实现的易失性与非易失性、可移动与不可移动介质。存储器1118和存储1120是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或者可用于存储所需信息并且可由设备1112访问的任何其它介质。任何这样的计算机存储介质可以是设备1112的一部分。
设备1112也可以包括允许设备1112与其它设备通信的通信连接1126。通信连接1126可以包括但不限于调制解调器、网络接口卡（NIC）、集成网络接口、射频发射机/接收机、红外端口、USB连接或用于将计算设备1112连接到其他计算设备的其他接口。通信连接1126可以包括有线连接或无线连接。通信连接1126可以发送和/或接收通信介质。
术语“计算机可读介质”可以包括通信介质。通信介质通常由诸如载波或其它传输机制等“已调制数据信号”中的计算机可读指令或其它数据来体现，并包括任何信息传递介质。术语“已调制数据信号”可以包括以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。
设备1112可以包括诸如键盘、鼠标、笔、语音输入设备、触摸输入设备、红外照相机、视频输入设备和任何其他输入设备的输入设备1124。诸如一个或多个显示器、扬声器、打印机和/或任何其他输出设备的输出设备1122也可以包括在设备1112中。输入设备1124和输出设备1122可以经由有线连接、无线连接或其组合连接到设备1112上。在一个实施例中，来自另一计算设备的输入设备或输出设备可以用作计算设备1112的输入设备1124或输出设备1122。
计算设备1112的组件可以由诸如总线的各种互连连接。这种互连可以包括诸如外围部件互连（PCI）Express的PCI、通用串行总线、火线（IEEE 1394）、光学总线结构等。在另一实施例中，计算设备1112的组件可以由网络互连。例如，存储器1118可以由位于由网络互连的不同的物理位置的多个物理存储器单元组成。
本领域的技术人员将认识到用于存储程序指令的存储设备可分布在网络上。例如，可经由网络1128访问的计算设备1130可存储用于实现此处所提供的一个或多个实施例的计算机可读指令。计算设备1112可访问计算设备1130并下载该计算机可读指令的一部分或全部以便执行。另选地，计算设备112可按需下载计算机可读指令的片断，或者可以在计算设备1112上执行一些指令而在计算设备1130上执行一些指令。
此处提供了实施例的各个操作。在一个实施例中，所描述的操作中的一个或多个可以构成存储在一个或多个计算机可读介质上的计算机可读指令，其如果由计算设备执行可以使得计算设备执行所描述的操作。所描述的一些或所有操作的顺序不应该被构建为暗示这些操作必须是依赖于顺序的。本发明的技术人员会理解替换性的顺序具有本描述的益处。此外，可以理解并非所有的操作必须出现在此处所提供的每个实施例中。
此外，在此使用词语“示例性”意指用作示例、实例或说明。在此被描述为“示例性”的任何方面或设计并不一定要被解释为相比其它方面或设计更优选或有利。相反，使用词语示例性旨在以具体的方式呈现各个概念。如本申请中所使用的，术语“或”意指包括性“或”而非互斥性“或”。即，除非另有指定或从上下文可以清楚，否则“X使用A或B”意指任何自然的包括性排列。即，如果X使用A；X使用B；或X使用A和B两者，则在任何以上情况下，都满足“X使用A或B”。另外，本申请中和所附权利要求书中所使用的冠词“一”和“一个”一般应被解释为是指“一个或多个”，除非另有指定或从上下文可以清楚指的是单数形式。
同样,虽然关于一个或多个实现示出和描述了本发明，应该理解在阅读和理解了本规范和附图后，本领域的其他技术人员会作出等价的变化和修改。本发明包括所有这样的修改和改变并且仅受到权利要求的范围的限制。尤其对于上述组件（元件、资源等等）执行的各个功能，用于描述这些组件的这些术语意在对应于（除非特别指出）执行上述组件指定功能的任何组件（例如在功能上等价），即使在机构上不等价于所公开的结构，所述组件执行这里所示的本发明示例性实现的功能。另外，尽管可相对于若干实现中的仅一个来公开本发明的一个特定特征，但是这一特征可以如对任何给定或特定应用所需且有利地与其它实现的一个或多个其它特征相组合。此外，就具体实施方式或所附权利要求所使用的术语“包含”、“具有”、“含有”、“有”及其变体而言，这些术语旨在以类似于术语“包括”的方式表示包含在内。

Claims (11)

1.一种用于确定关于在线视频的一组附加信息的方法，包括：
接收在线视频；
从所述在线视频中提取一组特征，所述一组特征包括文本特征、视觉特征、音频特征中的至少一个；
基于所述一组特征确定一组附加信息；
从所述一组附加信息中标识被确定为与从所述在线视频中提取的一组特征中的特征相关联的候选，所述候选包括文本特征、视觉特征、音频特征中的至少两个；
将所述候选聚集到聚集视频中；以及
输出所述聚集视频供呈现。
2.如权利要求1所述的方法，其特征在于，包括：
将所述一组附加信息呈现在显示器上。
3.如权利要求2所述的方法，其特征在于，所述呈现包括以下至少其中之一：
将所述一组附加信息作为视频呈现；
将所述一组附加信息作为动画呈现；
将所述一组附加信息作为图像呈现；以及
将所述一组附加信息作为文本呈现。
4.如权利要求1所述的方法，其特征在于，所述提取包括：
使用OCR文本识别技术提取文本特征。
5.如权利要求1所述的方法，其特征在于，所述提取包括：
使用比例不变特征变换来提取视觉特征。
6.如权利要求1所述的方法，其特征在于，所述视觉特征包括以下至少其中之一：
色彩直方图；
纹理；以及
SIFT描述符。
7.如权利要求1所述的方法，其特征在于，所述确定包括：
使用所述一组特征来对数据库执行多峰相关性匹配算法以确定所述一组附加信息。
8.一种用于确定关于在线视频的一组附加信息的系统，包括：
解析组件，所述解析组件被配置成：
将在线视频解析成一个或多个段，一个段包括一个帧序列；以及
基于在线视频中的帧具有高于阈值而选择该帧作为关键帧；
特征提取组件，所述特征提取组件被配置成：
至少从所述关键帧提取一组特征，所述一组特征包括文本特征、视觉特征、音频特征中的至少一个；
信息提取组件，所述信息提取组件被配置成：
基于所述一组特征确定一组附加信息；
从所述一组附加信息中标识被确定为与从所述在线视频中提取的一组特征中的特征相关联的候选，所述候选包括文本特征、视觉特征、音频特征中的至少两个；
将所述候选聚集到聚集视频中；以及
呈现组件，所述呈现组件被配置成：
呈现所述聚集视频。
9.如权利要求8所述的系统，其特征在于，所述特征提取组件包括：
文本识别组件，所述文本识别组件被配置成使用OCR文本识别技术来提取一个或多个文本特征；
视觉识别组件，所述视觉识别组件被配置成使用比例不变特征变换来提取一个或多个视觉特征；以及
音频识别组件，所述音频识别组件被配置成提取一个或多个音频特征。
10.如权利要求8所述的系统，其特征在于，所述信息提取组件被配置成：
使用所述一组特征来对数据库执行多峰相关性匹配算法以确定所述一组附加信息。
11.如权利要求10所述的系统，其特征在于，所述多峰相关性匹配算法被配置成：
使用一个或多个文本特征对所述数据库执行基于文本的搜索算法以确定候选附加信息的第一列表；
使用一个或多个视频特征对所述数据库执行视觉特征匹配算法以确定候选附加信息的第二列表；以及
执行所述第一列表和第二列表的线性组合以生成所述一组附加信息。
CN201180020853.6A 2010-04-26 2011-04-04 通过内容检测、搜索和信息聚集来丰富在线视频 Active CN102884538B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/767,114 US9443147B2 (en) 2010-04-26 2010-04-26 Enriching online videos by content detection, searching, and information aggregation
US12/767,114 2010-04-26
PCT/US2011/031046 WO2011139448A2 (en) 2010-04-26 2011-04-04 Enriching online videos by content detection, searching, and information aggregation

Publications (2)

Publication Number Publication Date
CN102884538A CN102884538A (zh) 2013-01-16
CN102884538B true CN102884538B (zh) 2016-11-16

Family

ID=44816695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180020853.6A Active CN102884538B (zh) 2010-04-26 2011-04-04 通过内容检测、搜索和信息聚集来丰富在线视频

Country Status (6)

Country Link
US (2) US9443147B2 (zh)
EP (1) EP2564372A4 (zh)
JP (1) JP5781601B2 (zh)
CN (1) CN102884538B (zh)
CA (1) CA2794680A1 (zh)
WO (1) WO2011139448A2 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443147B2 (en) * 2010-04-26 2016-09-13 Microsoft Technology Licensing, Llc Enriching online videos by content detection, searching, and information aggregation
US9069850B2 (en) 2011-11-08 2015-06-30 Comcast Cable Communications, Llc Content descriptor
US8620021B2 (en) 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
CN102760169A (zh) * 2012-06-13 2012-10-31 天脉聚源(北京)传媒科技有限公司 一种电视直播流中的广告段检测方法
US8578407B1 (en) 2012-07-10 2013-11-05 Joao Redol Real time automated unobtrusive ancilliary information insertion into a video
US9143823B2 (en) * 2012-10-01 2015-09-22 Google Inc. Providing suggestions for optimizing videos to video owners
US8805123B2 (en) 2012-10-09 2014-08-12 Samsung Electronics Co., Ltd. System and method for video recognition based on visual image matching
CN103873925B (zh) * 2012-12-13 2017-07-25 联想(北京)有限公司 视频处理设备和方法
CN103024479B (zh) * 2012-12-17 2016-03-02 深圳先进技术研究院 视频内容中自适应投放广告的方法及系统
CN103440248A (zh) * 2013-07-22 2013-12-11 西南交通大学 基于动态关联规则的网络视频事件挖掘框架
CA2924764C (en) * 2013-10-21 2020-03-10 Microsoft Technology Licensing, Llc Mobile video search
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9832353B2 (en) 2014-01-31 2017-11-28 Digimarc Corporation Methods for encoding, decoding and interpreting auxiliary data in media signals
US9904441B2 (en) 2014-07-29 2018-02-27 Echostar Technologies L.L.C. Methods and systems for providing additional content
US11165596B2 (en) * 2014-11-04 2021-11-02 Tmrw Foundation Ip S. À R.L. System and method for inviting users to participate in activities based on interactive recordings
CN104754367A (zh) * 2015-04-07 2015-07-01 腾讯科技（北京）有限公司 一种多媒体信息处理方法及设备
US11128918B2 (en) 2015-06-11 2021-09-21 Google Llc Methods, systems, and media for aggregating and presenting content relevant to a particular video game
CN106713973A (zh) * 2015-07-13 2017-05-24 中兴通讯股份有限公司 搜索节目的方法及装置
CN107180055A (zh) * 2016-03-11 2017-09-19 阿里巴巴集团控股有限公司 业务对象的展示方法及装置
CN106205621A (zh) * 2016-07-28 2016-12-07 北京小米移动软件有限公司 关键词确定方法及装置
CN106658196A (zh) * 2017-01-11 2017-05-10 北京小度互娱科技有限公司 基于视频内嵌字幕来嵌入广告的方法及装置
KR20180131856A (ko) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 배송 물품 정보 제공 방법 및 이를 위한 장치
CN108491524A (zh) * 2018-03-27 2018-09-04 深圳创维－Rgb电子有限公司 视频推送方法、装置及计算机可读存储介质
US10638206B1 (en) 2019-01-28 2020-04-28 International Business Machines Corporation Video annotation based on social media trends
US11836181B2 (en) 2019-05-22 2023-12-05 SalesTing, Inc. Content summarization leveraging systems and processes for key moment identification and extraction
US10984065B1 (en) 2019-09-30 2021-04-20 International Business Machines Corporation Accessing embedded web links in real-time
CN113573097A (zh) * 2020-04-29 2021-10-29 北京达佳互联信息技术有限公司 视频推荐方法、装置、服务器及存储介质
WO2022187397A1 (en) * 2021-03-03 2022-09-09 Voodle, Inc. Dynamic real-time audio-visual search result assembly
CN113159010B (zh) * 2021-03-05 2022-07-22 北京百度网讯科技有限公司 视频分类方法、装置、设备和存储介质
CN113849686B (zh) * 2021-09-13 2024-09-20 北京达佳互联信息技术有限公司 一种视频数据获取方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873080A (en) * 1996-09-20 1999-02-16 International Business Machines Corporation Using multiple search engines to search multimedia data
CN1663263A (zh) * 2002-06-18 2005-08-31 皇家飞利浦电子股份有限公司 用于推荐代表用户兴趣的项目的自适应原型简档的方法和设备
CN101021855A (zh) * 2006-10-11 2007-08-22 鲍东山 基于内容的视频检索系统
CN101076991A (zh) * 2004-12-13 2007-11-21 皇家飞利浦电子股份有限公司 根据与所收集的媒体内容的相似性供给广告的系统和方法

Family Cites Families (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600366A (en) * 1995-03-22 1997-02-04 Npb Partners, Ltd. Methods and apparatus for digital advertisement insertion in video programming
US20030212996A1 (en) * 1996-02-08 2003-11-13 Wolzien Thomas R. System for interconnection of audio program data transmitted by radio to remote vehicle or individual with GPS location
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US6571054B1 (en) * 1997-11-10 2003-05-27 Nippon Telegraph And Telephone Corporation Method for creating and utilizing electronic image book and recording medium having recorded therein a program for implementing the method
US6363380B1 (en) * 1998-01-13 2002-03-26 U.S. Philips Corporation Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US6704930B1 (en) * 1999-04-20 2004-03-09 Expanse Networks, Inc. Advertisement insertion techniques for digital video streams
US7356830B1 (en) * 1999-07-09 2008-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for linking a video segment to another segment or information source
JP3738631B2 (ja) 1999-09-27 2006-01-25 三菱電機株式会社 画像検索システムおよび画像検索方法
JP4770875B2 (ja) 1999-09-27 2011-09-14 三菱電機株式会社 画像特徴データ生成装置、画像特徴判定装置および画像検索システム
US20020026353A1 (en) 1999-12-22 2002-02-28 Marc Porat System and method of providing purchase information to consumers relating to advertisements displaying the product
JP2001337984A (ja) 2000-05-30 2001-12-07 Sony Communication Network Corp 広告システム、広告装置及び広告方法
US20020051077A1 (en) * 2000-07-19 2002-05-02 Shih-Ping Liou Videoabstracts: a system for generating video summaries
US9171851B2 (en) * 2000-08-08 2015-10-27 The Directv Group, Inc. One click web records
US8010988B2 (en) * 2000-09-14 2011-08-30 Cox Ingemar J Using features extracted from an audio and/or video work to obtain information about the work
CA2319979A1 (en) * 2000-09-18 2002-03-18 Bruce Frederic Michael Warren Method and system for producing enhanced story packages
US7143353B2 (en) * 2001-03-30 2006-11-28 Koninklijke Philips Electronics, N.V. Streaming video bookmarks
US7793326B2 (en) * 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US20030117428A1 (en) * 2001-12-20 2003-06-26 Koninklijke Philips Electronics N.V. Visual summary of audio-visual program features
US7293275B1 (en) * 2002-02-08 2007-11-06 Microsoft Corporation Enhanced video content information associated with video programs
JP4067326B2 (ja) 2002-03-26 2008-03-26 富士通株式会社 動画像内容表示装置
US7136875B2 (en) * 2002-09-24 2006-11-14 Google, Inc. Serving advertisements based on content
JP2003330935A (ja) 2002-05-15 2003-11-21 Toshiba Corp マルチモーダル情報システム及びマルチモーダル情報検索方法
US7349477B2 (en) * 2002-07-10 2008-03-25 Mitsubishi Electric Research Laboratories, Inc. Audio-assisted video segmentation and summarization
US7164798B2 (en) 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US8140965B2 (en) * 2003-02-28 2012-03-20 Google, Inc. Identifying related information given content and/or presenting related information in association with content-related advertisements
US20050038814A1 (en) * 2003-08-13 2005-02-17 International Business Machines Corporation Method, apparatus, and program for cross-linking information sources using multiple modalities
US20060020597A1 (en) * 2003-11-26 2006-01-26 Yesvideo, Inc. Use of image similarity in summarizing a collection of visual images
US7707039B2 (en) * 2004-02-15 2010-04-27 Exbiblio B.V. Automatic modification of web pages
KR100590537B1 (ko) * 2004-02-18 2006-06-15 삼성전자주식회사 복수 영상의 요약 방법 및 장치
GB0406512D0 (en) * 2004-03-23 2004-04-28 British Telecomm Method and system for semantically segmenting scenes of a video sequence
US20050228849A1 (en) * 2004-03-24 2005-10-13 Tong Zhang Intelligent key-frame extraction from a video
US20050267820A1 (en) 2004-06-01 2005-12-01 Zhiliang Zheng System, method and computer program product for finding customer orientated advertisements
US20070107022A1 (en) * 2004-06-08 2007-05-10 Lawrence Bradley R Iii Methods and apparatus to verify consumption of programming content
SG119229A1 (en) 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP4832307B2 (ja) 2004-09-11 2011-12-07 好邦 田村 広告・情報配信システム
US20060177114A1 (en) * 2005-02-09 2006-08-10 Trongtum Tongdee Medical digital asset management system and method
EP1856698A1 (en) * 2005-03-10 2007-11-21 Portalvideo, Inc. Video editing method and apparatus
US7421455B2 (en) * 2006-02-27 2008-09-02 Microsoft Corporation Video search and services
WO2007113458A1 (en) * 2006-03-30 2007-10-11 British Telecommunications Public Limited Company Video abstraction
WO2007115224A2 (en) * 2006-03-30 2007-10-11 Sri International Method and apparatus for annotating media streams
US20070255755A1 (en) * 2006-05-01 2007-11-01 Yahoo! Inc. Video search engine using joint categorization of video clips and queries based on multiple modalities
US20080065580A1 (en) * 2006-09-11 2008-03-13 Microsoft Corporation Unified user work environment for surfacing cross document relationships and componentized functionality
US20080109851A1 (en) 2006-10-23 2008-05-08 Ashley Heather Method and system for providing interactive video
US7986842B2 (en) * 2006-11-10 2011-07-26 Fuji Xerox Co., Ltd. Collective media annotation using undirected random field models
US8776107B2 (en) 2006-11-27 2014-07-08 Sony Corporation System and method for internet TV and broadcast advertisements
US20080178242A1 (en) * 2006-12-05 2008-07-24 Crackle, Inc. Video sharing platform providing for downloading of content to portable devices
JP5013840B2 (ja) 2006-12-12 2012-08-29 ヤフー株式会社 情報提供装置、情報提供方法、及びコンピュータプログラム
US20080159383A1 (en) * 2006-12-27 2008-07-03 Yahoo! Inc. Tagboard for video tagging
JP5143747B2 (ja) * 2006-12-28 2013-02-13 シャープ株式会社 広告配信システム、広告配信サーバ、広告配信方法、プログラム及び記録媒体
US20080189736A1 (en) * 2007-02-07 2008-08-07 Sbc Knowledge Ventures L.P. System and method for displaying information related to a television signal
US20080201361A1 (en) * 2007-02-16 2008-08-21 Alexander Castro Targeted insertion of an audio - video advertising into a multimedia object
US20080270344A1 (en) * 2007-04-30 2008-10-30 Yurick Steven J Rich media content search engine
US8744337B2 (en) * 2007-06-18 2014-06-03 Qualcomm Incorporated Apparatus and methods of enhancing radio programming
US20090006208A1 (en) * 2007-06-26 2009-01-01 Ranjit Singh Grewal Display of Video with Tagged Advertising
US8433611B2 (en) * 2007-06-27 2013-04-30 Google Inc. Selection of advertisements for placement with content
US20090006368A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Automatic Video Recommendation
US20090037262A1 (en) * 2007-07-30 2009-02-05 Yahoo! Inc. System for contextual matching of videos with advertisements
JP2009038481A (ja) 2007-07-31 2009-02-19 Sharp Corp データ送信装置、受信装置、データ送受信方法、プログラム及び記録媒体
US8588583B2 (en) * 2007-08-22 2013-11-19 Adobe Systems Incorporated Systems and methods for interactive video frame selection
US20090094113A1 (en) * 2007-09-07 2009-04-09 Digitalsmiths Corporation Systems and Methods For Using Video Metadata to Associate Advertisements Therewith
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8654255B2 (en) 2007-09-20 2014-02-18 Microsoft Corporation Advertisement insertion points detection for online video advertising
JP2009087106A (ja) 2007-09-30 2009-04-23 Sannetto:Kk インターネット情報提供サービスシステム
US8428360B2 (en) * 2007-11-01 2013-04-23 International Business Machines Corporation System and method for real-time new event detection on video streams
US8001561B2 (en) * 2007-11-20 2011-08-16 Samsung Electronics Co., Ltd. System and method for automatically rating video content
JP2009130529A (ja) * 2007-11-21 2009-06-11 Nippon Telegr & Teleph Corp <Ntt> 広告映像再生方法及び装置及びプログラム
KR100851435B1 (ko) * 2007-11-28 2008-08-11 (주)올라웍스 디지털 컨텐츠에 포함된 로고 정보에 기반한 정보 제공방법 및 시스템
US20090150784A1 (en) * 2007-12-07 2009-06-11 Microsoft Corporation User interface for previewing video items
US8156001B1 (en) * 2007-12-28 2012-04-10 Google Inc. Facilitating bidding on images
US8745657B2 (en) * 2008-02-13 2014-06-03 Innovid Inc. Inserting interactive objects into video content
US8676030B2 (en) * 2008-04-15 2014-03-18 Shlomo Selim Rakib Methods and systems for interacting with viewers of video content
US8763024B2 (en) * 2008-04-23 2014-06-24 At&T Intellectual Property I, Lp Systems and methods for searching based on information in commercials
US20090282016A1 (en) * 2008-05-07 2009-11-12 Yahoo! Inc. Systems and Methods for Building a Prediction Model to Predict a Degree of Relevance Between Digital Ads and a Search Query or Webpage Content
US8311390B2 (en) * 2008-05-14 2012-11-13 Digitalsmiths, Inc. Systems and methods for identifying pre-inserted and/or potential advertisement breaks in a video sequence
US20090313127A1 (en) * 2008-06-11 2009-12-17 Yahoo! Inc. System and method for using contextual sections of web page content for serving advertisements in online advertising
CN101616264B (zh) 2008-06-27 2011-03-30 中国科学院自动化研究所 新闻视频编目方法及系统
US8477246B2 (en) * 2008-07-11 2013-07-02 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for augmenting video content
WO2010006334A1 (en) * 2008-07-11 2010-01-14 Videosurf, Inc. Apparatus and software system for and method of performing a visual-relevance-rank subsequent search
KR100926123B1 (ko) 2008-07-21 2009-11-11 강민수 디지털 콘텐츠에 포함된 텍스트 콘텐츠를 이용한 광고 방법
US20100023966A1 (en) * 2008-07-22 2010-01-28 At&T Labs System and method for contextual adaptive advertising
DE102008044635A1 (de) * 2008-07-22 2010-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Bereitstellen einer Fernsehsequenz
US8380564B2 (en) 2008-07-30 2013-02-19 At&T Intellectual Property I, Lp System and method for internet protocol television product placement data
KR100969790B1 (ko) * 2008-09-02 2010-07-15 엘지전자 주식회사 이동단말기 및 그 컨텐츠 합성방법
US20100077289A1 (en) * 2008-09-08 2010-03-25 Eastman Kodak Company Method and Interface for Indexing Related Media From Multiple Sources
US20100077435A1 (en) * 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display
US8195038B2 (en) * 2008-10-24 2012-06-05 At&T Intellectual Property I, L.P. Brief and high-interest video summary generation
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
US20100145971A1 (en) * 2008-12-08 2010-06-10 Motorola, Inc. Method and apparatus for generating a multimedia-based query
KR20100095924A (ko) * 2009-02-23 2010-09-01 삼성전자주식회사 동영상의 상황정보를 반영한 광고 키워드 추출 방법 및 장치
US20100223113A1 (en) * 2009-02-27 2010-09-02 The Go Daddy Group, Inc. Systems for embedding advertisements offering available, dynamic-content-relevant domain names in online video
US20100223132A1 (en) * 2009-02-27 2010-09-02 The Go Daddy Group, Inc. Embedding advertisements offering available, dynamic-content-relevant domain names in online video
US8213725B2 (en) * 2009-03-20 2012-07-03 Eastman Kodak Company Semantic event detection using cross-domain knowledge
KR101550886B1 (ko) * 2009-03-27 2015-09-08 삼성전자 주식회사 동영상 콘텐츠에 대한 부가 정보 생성 장치 및 방법
CN102395991A (zh) * 2009-04-13 2012-03-28 恩斯沃尔斯有限责任公司 用于提供运动的图像广告的方法和装置
US8595781B2 (en) * 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US20100306023A1 (en) * 2009-05-29 2010-12-02 Adobe Systems Incorporated Systems and Methods of Selecting Advertisements Using a Local User Profile
US20100312608A1 (en) * 2009-06-05 2010-12-09 Microsoft Corporation Content advertisements for video
US8068677B2 (en) * 2009-08-25 2011-11-29 Satyam Computer Services Limited System and method for hierarchical image processing
US20110085728A1 (en) * 2009-10-08 2011-04-14 Yuli Gao Detecting near duplicate images
US20110087553A1 (en) * 2009-10-14 2011-04-14 Yahoo! Inc. Bitrate preview for video objects
US10043193B2 (en) * 2010-01-20 2018-08-07 Excalibur Ip, Llc Image content based advertisement system
KR101667232B1 (ko) * 2010-04-12 2016-10-19 삼성전자주식회사 의미기반 검색 장치 및 그 방법과, 의미기반 메타데이터 제공 서버 및 그 동작 방법
US9443147B2 (en) * 2010-04-26 2016-09-13 Microsoft Technology Licensing, Llc Enriching online videos by content detection, searching, and information aggregation
US8898713B1 (en) * 2010-08-31 2014-11-25 Amazon Technologies, Inc. Content aggregation and presentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5873080A (en) * 1996-09-20 1999-02-16 International Business Machines Corporation Using multiple search engines to search multimedia data
CN1663263A (zh) * 2002-06-18 2005-08-31 皇家飞利浦电子股份有限公司 用于推荐代表用户兴趣的项目的自适应原型简档的方法和设备
CN101076991A (zh) * 2004-12-13 2007-11-21 皇家飞利浦电子股份有限公司 根据与所收集的媒体内容的相似性供给广告的系统和方法
CN101021855A (zh) * 2006-10-11 2007-08-22 鲍东山 基于内容的视频检索系统

Also Published As

Publication number Publication date
EP2564372A4 (en) 2017-04-12
JP2013525916A (ja) 2013-06-20
JP5781601B2 (ja) 2015-09-24
WO2011139448A3 (en) 2012-02-16
CN102884538A (zh) 2013-01-16
US20110264700A1 (en) 2011-10-27
US9443147B2 (en) 2016-09-13
EP2564372A2 (en) 2013-03-06
CA2794680A1 (en) 2011-11-10
WO2011139448A2 (en) 2011-11-10
US20160358025A1 (en) 2016-12-08

Similar Documents

Publication Publication Date Title
CN102884538B (zh) 通过内容检测、搜索和信息聚集来丰富在线视频
US10769444B2 (en) Object detection from visual search queries
KR102533972B1 (ko) 시각적 검색 플랫폼용 영상 인제스트 프레임워크
Borth et al. Large-scale visual sentiment ontology and detectors using adjective noun pairs
WO2021190174A1 (zh) 信息确定方法、装置、计算机设备及存储介质
CN110019943B (zh) 视频推荐方法、装置、电子设备和存储介质
CN113010703B (zh) 一种信息推荐方法、装置、电子设备和存储介质
WO2020107624A1 (zh) 信息推送方法、装置、电子设备及计算机可读存储介质
US11934953B2 (en) Image detection apparatus and operation method thereof
CN114372414B (zh) 多模态模型构建方法、装置和计算机设备
CN113469152A (zh) 相似视频检测方法及装置
US20170013309A1 (en) System and method for product placement
CN116541602A (zh) 推荐内容的推送方法和系统、电子设备及存储介质
US20240220537A1 (en) Metadata tag identification
CN116980665A (zh) 一种视频处理方法、装置、计算机设备、介质及产品
CN110399527B (zh) 影视推荐方法、装置及存储介质
CN113705209A (zh) 一种副标题的生成方法、装置、电子设备和存储介质
CN107862009A (zh) 电子书的获取方法及装置、存储介质、终端
US12026451B2 (en) Methods and systems for generating alternative content using generative adversarial networks implemented in an application programming interface layer
CN112287184B (zh) 基于神经网络的迁移标注方法、装置、设备及存储介质
US20240354489A1 (en) Methods and systems for generating alternative content using generative adversarial networks implemented in an application programming interface layer
Tang et al. Intelligent processing techniques for semantic-based image and video retrieval
CN116843935A (zh) 素材数据聚类方法及相关装置
KR20220079060A (ko) 문서 기반 멀티미디어 변환 콘텐츠 제작을 위한 리소스 데이터 베이스 장치
CN117670442A (zh) 用于广告推荐的方法、装置、设备和可读介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1179023

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150717

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20150717

Address after: Washington State

Applicant after: Micro soft technique license Co., Ltd

Address before: Washington State

Applicant before: Microsoft Corp.

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1179023

Country of ref document: HK