CN103797494A - 使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质 - Google Patents

使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质 Download PDF

Info

Publication number
CN103797494A
CN103797494A CN201280022687.8A CN201280022687A CN103797494A CN 103797494 A CN103797494 A CN 103797494A CN 201280022687 A CN201280022687 A CN 201280022687A CN 103797494 A CN103797494 A CN 103797494A
Authority
CN
China
Prior art keywords
signature
image
video
polygon
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280022687.8A
Other languages
English (en)
Inventor
D·阿姆塞莱姆
Y·哈瓦
A·沙维特
D·沙维特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TVTAK Ltd
Original Assignee
TVTAK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TVTAK Ltd filed Critical TVTAK Ltd
Publication of CN103797494A publication Critical patent/CN103797494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Abstract

本发明涉及使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质。该方法包括的步骤有：将可拍照设备（CEN）朝向视频信号平面；在CEN设备上检测背景场景中视频信号平面的位置；并从检测到的视频信号平面中提取至少一帧。优选的，该方法进一步包括的步骤有：从提取到的至少一帧中获取至少一个图像；从至少一个图像计算至少一个压缩签名；将至少一个压缩签名与数据库中的至少一个存储压缩签名比较；并确定是否在至少一个压缩签名和至少一个存储压缩签名之间找到至少一个匹配。

Description

使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质
本专利申请要求申请日期为2011年3月31日的美国临时专利申请号为61/469，875的申请的优先权，其通过引用全部并入本申请。
技术领域
本发明涉及使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质。
背景技术
随着互动多媒体、社交网络的到来和照相功能的智能手机和其他移动设备的广泛扩散，电子设备的消费者发现了使用技术与其联系人（如朋友、亲戚和商业伙伴）来分享他们的日常经验的新方式。推特和博客，以及多用户在线游戏和论坛是关于这些的几个例子。
为了跟上这一趋势，数字内容出版商和移动设备制造商一直在寻找将一体化平台结合到传统媒体（例如音乐、广播和电视）分布和访问中的方法。在电视内容领域，用于安排用户观看兴趣爱好的网上电视指南和接口是常见的。但是，分享目前的电视观看活动仍然受到现实限制，所述现实即用户需要做出键盘或触摸屏输入以通过设备知道他/她在看什么。
拥有使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质可为可取的。这样的系统、方法和介质，除其他方式外，将克服上述缺陷。
发明内容
本发明的目的是提供可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质。
为了清楚起见，本文中下面的几个术语被明确定义。此处所用的术语“视频”，本文中使用的术语“视频”指电子处理和重建的一序列代表在运动的场景的静止图像的技术。术语“视频信号”在本文中用于指被呈现在电视机、电脑屏幕上、视频监视器/显示器或使用视频投影仪的投影屏，其例如在会议室演示、课堂培训、家庭影院收看和其他现场活动。
本文中术语“背景场景”是指包含在被可拍照设备（CEN）获取的图像（或序列图像）中的任意可视元素，例如，公园的图像的背景场景可包括公园长椅、秋千、喷泉、人、草、云以及手机，便携视频游戏和移动电子媒体设备。
本文所用的“视频信号拍照捕获”和“VSCC”是指实时显示在背景场景中的视频信号的检测到的平面。例如，视频信号拍照捕获可被从客厅、会议室或户外空间的背景场景获取，其中视频显示器是场景的一个元素，以在视频显示器上检测视频信号显示的平面。
本文所用的通用术语“系统”指本发明的任何实施，包括在CEN或其它设备上被执行（整体或部分）的，以及正在远程系统上被执行（整体或部分）的软件（例如，过程或方法的执行）、固件、硬件，远程系统例如后台系统或基于云的服务。
此外，注意的是，本文所用的术语“示例性”是指实施例和/或实现的示例，并不意味着一定传达一个更可取的使用情况。类似的，本文所用术语“优选”是指考虑的实施例和/或实现的组合中的一个，并不意味着传达一种更可靠的使用情况。因此，由上所述可知“示例性”和“优选”可应用于本发明的多个实施例和/或实施。
本发明的实施例，使CEN的移动设备的用户识别他们所观看的视频节目，仅通过将设备的摄像头朝向他们的电视机或视频显示器。系统可在几秒内检测其正在观看的通道、节目、节目类型（例如，主题内容、促销或广告），并向用户的设备发送具体相关的内容和服务。
本发明的一些实施例使用户能在社交网络上分享其观看活动和评论。这样的实施例能够获取自动裁剪图像，能从被CEN设备获取的背景场景中的视频信号平面提取图像。作为用例的一个示例，本发明的一些实施例允许用户给自动裁剪图像添加文本评论，以与其他正在观看相同或其他程序化内容的人共享。进一步的实施例允许用户观看由其他用户对其观看的具体节目提出的所有评论。在其他实施例中，所评述用户可添加代表他/她关于某个节目的感受的标签来与其他用户分享。
在附加实施例中，用户可观看由其他用户提出的关于其正在观看的具体节目或通道的全部评论。在一些实施中，系统执行对关于特定电视节目的评论的自动搜索和集合，选出最相关和最有趣的评论，并展示选择的评论给用户。
本发明的一些实施例提供实时的观看数据给用户。在这样的实施例中，在任何给定的时刻，例如，系统能够提供本系统用户观看对电视观众本地有效的每个通道的百分比。收视率可被展示为饼图或其他图形表示；例如，用户可以通过选择“所有用户”，“通过社交网络链接的朋友”，或“类似配置文件中的其他用户”来过滤百分比。
在进一步的实施例中，系统在设备上显示正在被观看的这个节目之前发生了什么的简短的概要（例如，几个短语）。在一些实施例中，概要按照下列方法产生。
1.实时自动检索节目音轨的转录，其通过：
a.获取嵌入电视广播数字流中的字幕；和/或
b.分析电视台的音轨，其包括：
i.识别并分类说话者；和/或
ii.分析用于语音-文本处理的音轨以实时转录在广播中正在说什么；和/或
2.使用数据分析和语言模型（用于根据在参照语料库中的一般分布确定句子中单词的相对重要性）以从转录中提取最有意义的内容框架来总结内容。
本发明的其它实施例启用将从正在广播的节目内容自动产生的上下文“问答”或“投票”。在这样的实施例的优选实施中，当节目正被广播时，用户能参加从获取的转录自动产生的问答或投票。作为用例的一个示例，系统从节目的实时转录中取相关短句，并产生问答，其中用户需要猜测节目中出现的哪个角色说了该短句。另一个用例包括用户给任何出现在该节目中的角色的独白或对话评级和/或添加带有情感属性的图标，并在社交网络上分享该评级。
本发明的其他实施例启用增强现实中的一种形式，通过产生相关内容的实时叠加，相关内容是在CEN设备上显示的广播内容的叠加。例如，当节目被广播时，观看电视节目的观众可被展示演员阵容、可点击的横幅、演员的详细资料以及该节目扩展的其它附加材料。这样对应于广播的增强现实的叠加随着时间改变。
本发明的其他实施例可识别电视广告，并提供设备上的立即呼叫执行选项。在这样的实施例的优选实施中，系统实时确定正被广播的商业广告，并提供用户在设备上的呼叫执行服务。线河阳的呼叫执行服务的示例包括：
1.来自同一广告客户的要约，其为用户提供“点击通话”、登记联系方式或发送电子邮件接收更多信息的能力；
2.提供商业中广告的产品或产品的类别的来自其他公司的要约，其提供用户点击通话、登记联系方式或发送电子邮件接收更多信息的能力；
3.上述相同服务的本地化提供，但根据确定用户设备的本地化个性化观众；
4.设备上的要约搜索，其用于搜索与广告商、产品或商业广告中的产品的类别相关的促销、优惠券和/或电子商务提供；
5.团购连接，与寻找相同的产品或同类产品的其他用户一起以获得团购折扣；以及：
6.使用统计，其中呼叫动作的服务被映射到用户的配置文件、一天中的时间、位置及由用户和/或设备提供的其他具体信息。
本发明的其他实施例使能用于触发VSCC的交付的相机获取行动响应（ARCC）。ARCC包括用户对于VSCC的响应或反映（基于设备传感器的变化），VSCC用于触发对与设备相关内容的交付。例如，CEN设备通过VSCC检测到图像。作为游戏的一部分，用户被要求执行任务以触发下一个要被交付的内容。要被执行的任务示例包括：点击设备的触摸屏，摇晃具有加速度计、陀螺仪或其他运动传感器的设备，在投票表决时投票以及回答问卷。类似的过程也适用于当设备需要朝向视频信号表面的特定区域，或检测视频反馈内容（例如，面、形状和颜色、标志）中的特定对象时。
本发明实施例利用视频信号表面（或屏幕框架）的视频识别符，例如16:9或4:3的几何比。本发明的实施例能执行允许实时实施的快速VSCC检测。进一步的实施方案使图像抖动能通过获取稳定进行补偿，抖动是由于获取具有视频信号表面的背景场景时用户晃动或移动CEN设备造成的。
所以，根据本发明，此处第一次提供了从背景场景中获取视频信号拍照捕获（VSCC）的方法，方法包括下列步骤：（a）将可拍照设备（CEN）朝向视频信号表面；（b）在CEN设备上检测在背景场景中的视频信号表面的位置；以及（c）从检测到的视频信号表面中提取至少一帧。
优选地，方法进一步包括步骤：（d）在CEN设备上检测到的视频信号表面上显示至少一个图像指示。
优选的，方法进一步包括步骤：（d）在提取的步骤中，分割至少一个帧的至少一个各自的彩色图像到至少两个各自的通道，每个通道具有一个各自的阈值；（e）确定是否来自之前帧的之前通道和之前阈值能成功检测至少一个四边形；（f）如果确定的步骤是成功的，跳到步骤（h）；（g)选择至少一个可替换的各自通道，其具有各自的新阈值，其中至少一个可替换的各自通道是至少一个新的各自通道或具有不同的各自阈值的之前通道；（h）使用之前通道和之前阈值或使用至少一个可替换的各自通道和各自阈值在至少两个通道中的一个检测至少一个四边形；（i）如果检测至少一个四边形的步骤是成功的，存储表示通道是成功的一个指示器和各自的成功的阈值；（j）如果检测至少一个四边形的步骤是不成功的，迭代步骤（g）～（i）；（k）为每个检测到的四边形提供各自的坐标。
最优选的，检测至少一个四边形的步骤包括步骤：（i）在彩色图像中检测至少一个连接的组件；（ii）用第一多边形来近似至少一个连接的组件的轮廓；（iii）确定是否至少一个第一多边形是凸多边形；（iv）如果至少一个第一多边形是凸多边形，则进行存储的步骤；（v）如果至少一个第一多边形不是凸多边形，寻找至少一个连接的组件的凸形外壳；（vi）用至少一个第二多边形近似每个凸形外壳；（vii）进行存储的步骤。
最优选的，直到找到第一匹配，确定的步骤终止。
优选的，方法进一步包括步骤：（d）从至少一个提取的帧获取至少一个图像；（e）从至少一个图像计算至少一个压缩签名；（f）将至少一个压缩签名与至少一个在数据库中的存储压缩签名作比较；（g）确定是否在至少一个压缩签名和至少一个存储压缩签名中至少一个匹配被发现。
最优选的，直到找到第一匹配，确定的步骤终止。
最优选的，方法进一步包括步骤：（i）将数据库存储在CEN设备中以执行比较的步骤和确定的步骤。
最优选的，比较的步骤和确定的步骤通过转移至少一个压缩签名到远程实体以提供至少一个匹配而被执行。
优选的，方法进一步包括步骤：（d）从至少两个提取的帧中产生视频；（e）从视频中计算至少一个压缩视频签名；（f）将至少一个压缩视频签名与在数据库中的至少一个存储签名作比较；（g）确定是否在至少一个压缩视频签名和至少一个存储签名中至少一个匹配被发现。
优选的，方法进一步包括步骤：（d）确定是否至少一帧在至少一个彩色图像中；（e）如果至少一帧不在至少一个彩色图像中，跳到初始化的步骤；（f）如果至少一帧在至少一个彩色图像中，将至少一个彩色图像转化为至少一个灰度图像；（g）为至少一个灰度图像初始化至少一个初始空白签名字符串；（h）为至少一个灰度图像设置至少一个比例水平“L”；（i）将至少一个灰度图像分割为至少一个L×L的矩形细分；（j）为至少一个对应子图像产生至少一个图像签名字符串；（k）将至少一个图像签名字符串附加到至少一个初始空白签名字符串；（l）为至少一个比例水平L的所有值迭代步骤（h）～（j）；（m）通过处理至少一个比例水平L的最大比例水平，提供满的的签名字符串。
优选的，产生至少一个图像签名字符串的步骤包括步骤：（i）确定是否左边的和比右边和小，左边的和是至少一个子图像左半边所有像素的和，右边和是至少一个子图像右半边所有像素的和；（ii）如果左边和比右边和要小，附加1比特到至少一个图像签名字符串；（iii）如果左边和大于或等于右边和，附加0比特到至少一个图像签名字符串；（iv）为顶部和和底部和分别迭代步骤（i）～（iii），顶部和是至少一个子图像上半部所有像素的和，底部和是至少一个子图像下半部所有像素的和；（v）为第一角和和第二角和分别迭代步骤（i）～（iii），第一角和是至少一个子图像左上四分之一和右下四分之一的所有像素的和，第二角和是至少一个子图像右上四分之一和左下四分之一的所有像素的和；（vi）为中间水平和和两侧水平和分别迭代步骤（i）～（iii），中间水平和是至少一个子图像中间水平部分所有像素的和，两侧水平和是至少一个子图像左边水平部分和右边水平部分所有像素的和；（vii）为中间垂直和和两侧垂直和分别迭代步骤（i）～（iii），中间垂直和是至少一个子图像中间垂直部分所有像素的和，两侧垂直和是至少一个子图像左边垂直部分和右边垂直部分所有像素的和。
优选的，方法进一步包括步骤：（d）在提取的步骤，从至少一帧中获取至少一个灰度帧；（e）检测至少两个垂直边缘分段和至少一个水平边缘分段，或至少一个水平边缘分段和至少两个水平边缘分段；（f）只从具有图像中心上方端点和图像中心下方端点的垂直边缘分段中选择分段；（g）在黑色图像中画出至少一个选择的垂直分段；（h）不论只从垂直边缘分段中选择的步骤怎样，只从具有图像中心上方端点和图像中心下方端点的水平边缘分段中选择分段；（i）在黑色图像中画出至少一个选择的水平分段；（j）在黑色图像上执行形态学膨胀以连接至少一个选择的水平分段和至少一个选择的垂直分段；（k）从黑色图像中提取至少一个四边形。
最优选的，从黑色图像中提取至少一个四边形的步骤包括步骤：（i）在黑色图像中检测至少一个连接的组件；（ii）用至少一个第一多边形近似至少一个连接的组件的每个轮廓；（iii）确定是否至少一个第一多边形是凸四边形；（iv）如果至少一个第一多边形是凸四边形，存储至少一个第一多边形；（v）如果至少一个第一多边形不是凸四边形，寻找至少一个连接的组件的凸形外壳；（vi）用至少一个第二多边形近似每个凸形外壳；（vii）确定是否至少一个第二多边形是凸四边形；（viii）如果至少一个第二多边形是凸四边形，存储至少一个第二多边形；（ix）如果至少一个第二多边形不是凸四边形；（x）确定是否至少一个第二多边形是三角形；（xi）如果至少一个第二多边形是三角形，确定是否三角形的一个角接近90度；（xii）如果角度接近90度，确定是否三角形的斜边中心接近黑色图像的图像中心；（xiii）如果斜边中心接近图像中心，给至少一个第二多边形增加第四点以完成四边形；以及（xiv）为每个检测到的四边形提供各自的坐标。
根据本发明，第一次提供了一种用于比较从背景场景中获取的视频信号拍照捕获（VSCC）的VSCC签名和实时签名的方法，方法包括步骤：（a）从视频流中提取相关元数据；（b）获取对应于来自至少以一个源的视频流而对应于所述视频流的相关源元数据；（c）从视频流中计算至少一个压缩服务器签名；（d）将至少一个压缩服务器签名存储在数据库中。
优选的，存储步骤包括将至少一个具有相关元数据和/或相关源元数据的压缩服务器签名存储在数据库中。
优选的，方法进一步包括步骤：（e）基于接收具有至少一个压缩客户签名的客户请求，将至少一个压缩客户签名与在数据库中的至少一个存储压缩服务器签名作比较；（f）确定是否在至少一个压缩客户签名和至少一个存储压缩服务器签名中至少一个匹配被发现；（g）通过提供至少一个匹配来满足客户的请求。
优选的，相关元数据和相关源元数据被从组中选择，组包括：视频内容通道、视频内容节目、节目类型、程序细节、演员表细节、字幕、相关的广告、相关的促销、观众活动、观众评论、收视率、收视统计、竞猜内容、投票内容和呼叫执行的内容。
根据本发明，第一次提供了一种用于从背景场景中获取视频信号拍照捕获（VSCC）的设备，设备包括：（a）相机模块，其用于在设备上检测背景场景中视频信号表面的位置；以及（b）处理模块以：（i）从检测到的视频信号表面中提取至少一帧；（ii）从提取到的至少一帧中获取至少一个图像；（iii）从至少一个图像计算至少一个压缩签名。
根据本发明，第一次提供了一种用于从背景场景中获取视频信号拍照捕获（VSCC）的系统，系统包括：（a）一个服务器处理器，其用于接收具有至少一个压缩客户签名的至少一个客户请求；（b）压缩签名产生器，其用于产生压缩视频提供者签名；（c）元数据分配模块，其用于从元数据提供者分配元数据；（d）视频索引库，其用于存储压缩视频提供者签名；（e）实时比较器，其用于比较至少一个压缩客户签名和在视频索引库中的至少一个存储压缩视频提供者签名；（f）分析模块，其用于确定是否在至少一个压缩客户签名和至少一个存储压缩视频提供者签名中至少一个匹配被发现；（g）满足模块，其通过提供至少一个匹配满足客户需求。
根据本发明，第一次提出了一种非临时性计算机可读介质，其具有计算机可读代码实施在非临时性计算机可读介质中，计算机可读代码包括：（a）程序代码，其用于在CEN设备上检测背景场景中的视频信号表面的位置；（b）程序代码，其用于从检测到的视频信号表面提取止至少一帧；（c）程序代码，其用于从提取到的至少一帧获取至少一个图像；（d）程序代码，其用于从至少一个图像计算至少一个压缩签名。
根据本发明，第一次提出了一种非临时性计算机可读介质，其具有计算机可读代码实施在非临时性计算机可读介质中，计算机可读代码包括：（a）程序代码，其用于接收具有至少一个压缩客户签名的至少一个客户请求；（b）程序代码，其用于产生压缩视频提供者签名；（c）程序代码，其用于从元数据提供者处分配元数据；（d）程序代码，其用于存储压缩视频提供者签名；（e）程序代码，其用于比较至少一个压缩客户签名和在视频索引库中的至少一个存储压缩视频提供者签名；（f）程序代码，其用于确定是否在至少一个压缩客户签名和至少一个存储压缩视频提供者签名中至少一个匹配被找到；（g）程序代码，其通过提供至少一个匹配来满足客户的要求。
从下面详细的描述中和示例中这些实施例和进一步的实施例是很明显的。
附图说明
本文所述的本发明，仅以示例的方式参考下列附图，其中：
图1是根据本发明优选实施例的，从背景场景中获取视频信号拍照捕获（VSCC）的主处理步骤的简化流程图。
图2是根据本发明优选实施例的，在可拍照设备（CEN）上计算的VSCC的压缩图像签名的主处理步骤的简化流程图。
图3是根据本发明优选实施例的，在CEN设备上用于计算VSCC的压缩视频签名的主处理步骤的简化流程图。
图4是根据本发明优选实施例的，在CEN设备上比较VSCC的签名和其他签名的主处理步骤的简化流程图。
图5是根据本发明优选实施例的，比较VSCC签名和为在远程服务器中的视频流实时创建的一组压缩签名的主处理步骤的简化流程图。
图6是根据本发明优选实施例的，用于执行后台比较的主处理步骤的简化流程图。
图7是根据本发明优选实施例的，用于从电视或视频显示器检测视频信号表面的主处理步骤的简化流程图。
图8是根据本发明优选实施例的，用于从电视或视频显示器检测四边形的主处理步骤的简化流程图。
图9是根据本发明优选实施例的，用于从背景场景中获取VSCC的系统结构的简化原理图。
图10是根据本发明优选实施例的，用于从图像创建压缩签名的主处理步骤的简化流程图。
图11是根据本发明优选实施例的，用于从子图像创建压缩签名的主处理步骤的简化流程图。
图12是根据本发明优选实施例的替换实施例的，用于从电视或视频显示器检测视频信号表面的主处理步骤的简化流程图。
图13是根据本发明优选实施例的替换实施例的，用于从电视或视频显示器检测四边形的主处理步骤的简化流程图。
具体实施方式
本发明涉及使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质。根据本发明实施例，用于提供这样的设备、方法和介质的规则通过参照下列的附图和描述可以更好理解。
根据本发明优选实施例，图1是从背景场景中获取视频信号拍照捕获（VSCC）的主处理步骤的简化流程图。过程由用户将CEN设备朝向具有视频信号平面的背景场景（例如，房间或空间）开始（步骤2）。CEN设备获取包括视频信号的平面的空间。系统从相机输出中检测视频信号平面的位置（步骤4）。
系统随后在检测到的视频信号平面中显示图像指示以提醒用户系统已经从相机获取输出中检测到视频信号（步骤6）。系统从检测到的视频信号平面中的视频信号提取帧（步骤8）。系统能够创建裁剪为合适大小的固定图像。提取的帧可被用于进一步处理（步骤10）。
根据本发明优选实施例，图2是在可拍照设备（CEN）上计算的VSCC的压缩图像签名的主处理步骤的简化流程图。过程从系统使用如图1中的VSCC过程的CEN设备（例如，智能手机、平板电脑和其他具有相机的设备）检测并提取视频信号表面开始。一旦系统产生提取的帧，图像可被从帧获得（步骤20）。系统从图像的可视特征本地计算（例如在CEN设备中）压缩签名，并展示具有压缩签名（具有比原图像小得多的文件大小）的视频（步骤22）。
根据图10和图11，用于产生这样的压缩签名的示例性实施例被描述。在这样的实施例中，签名比较被使用著名的位字符串之间（例如，2字符串之间的位数不同）的汉明距离执行。汉明距离越大，签名的匹配越差。
视频信号图像的压缩签名使得被表示的视频内容被描述、索引、识别、展示、比较和/或与其他视频或可视内容比较。系统可将压缩签名与在数据库（本地可用或远程可用）中的签名作比较（步骤24）。
系统搜索匹配的签名（步骤26）。如果匹配被检测到，对应于运行在设备中的应用的通知被触发（步骤28）。如果匹配没被检测到，则过程返回步骤20以从提取的帧中获取新图像。
要注意的是，在产生多个候选的帧中，签名可为每个候选被计算，并执行对所有候选签名的匹配。签名比较也可通过比较从视频平面中计算的每个指纹签名和存储在数据库中的所有存储签名来执行。这提供了匹配时间，时间随着数据库中签名的个数线性增长。在本发明的可替换实施例中，贪婪匹配方案提供了良好的结果。在这样的方案中，一旦足够近的匹配被找到，就不再需要比较签名。
根据本发明优选实施例，图3是在CEN设备上用于计算VSCC的压缩视频签名的主处理步骤的简化流程图。过程从系统从提取的帧中产生视频信号开始，提取的帧由图1中的VSCC过程产生（步骤30）。系统从产生的视频本地计算压缩视频签名，并展示具有压缩视频签名（具有比原图像小得多的文件大小）的视频（步骤32）。
系统随后将压缩视频签名与在数据库（本地可用或远程可用）中的签名作比较（步骤34）。系统搜索匹配签名（步骤36）。如果一个匹配被检测到，对应于运行在设备中的应用的通知被触发（步骤38）。如果匹配没被检测到，则过程返回步骤30以从一组新获取的帧中产生视频。
在产生多个候选的帧中，签名可为每个候选被计算，并执行对所有候选签名的匹配。签名比较也可通过比较从视频平面中计算的每个指纹签名和存储在数据库中的所有存储签名来执行。这提供了匹配时间，时间随着数据库中签名的个数线性增长。在本发明的可替换实施例中，贪婪匹配方案提供了良好的结果。在这样的方案中，一旦足够近的匹配被找到，就不再需要比较签名。
根据本发明优选实施例，图4是在CEN设备上比较VSCC的签名和其他签名的主处理步骤的简化流程图。过程由系统在CEN设备上存储一个列表的压缩签名开始（步骤40）。系统使用如在图1中的VSCC过程描述的CEN设备检测并提取视频信号表面（步骤42）。系统计算压缩视频签名（步骤44），如图3中的视频签名过程。
系统比将最近产生的压缩视频签名与本地存储在设备中的其他压缩视频签名作比较（步骤46）。系统搜索匹配签名（步骤48）。如果一个匹配被检测到，对应于运行在设备中的应用的通知被触发（步骤50）。可选择的，签名匹配列表中的元数据可被检索（步骤52）。如果匹配没被检测到，则过程返回步骤42。
在产生多个候选的帧中，签名可为每个候选被计算，并执行对所有候选签名的匹配。签名比较也可通过比较从视频平面中计算的每个指纹签名和存储在数据库中的所有存储签名来执行。这提供了匹配时间，时间随着数据库中签名的个数线性增长。在本发明的可替换实施例中，贪婪匹配方案提供了良好的结果。在这样的方案中，一旦足够近的匹配被找到，就不再需要比较签名。
根据本发明优选实施例，图5是比较VSCC签名和为在远程服务器中的视频流实时创建的一组压缩签名的主处理步骤的简化流程图。在描述处理步骤中，电视反馈被用作示例性视频流。过程由获取电视反馈（或其他视频流）开始（步骤60）。系统从电视反馈中提取相关元数据（步骤62）。系统随后从其他源提取对应于电视反馈的相关元数据（步骤64）。
例如，相关元数据可包括：电子节目指南、时间、节目标题、缩略图、节目详细信息、字幕、视频反馈的视觉和音频内容的目标检索（例如，脸、显示在视频中的书面文字、特定的对象、产品展示、标识、关键字、促销、广告以及广告歌曲）。
指纹签名被从电视反馈中计算（步骤66），并且，可选的，相关元数据被添加到指纹签名（步骤68）。指纹签名随后与相关元数据一起被存储到数据库中（步骤70）。系统随后通过返回到步骤62重复过程。
根据本发明优选实施例，图6是用于执行后台比较的主处理步骤的简化流程图。系统从视频反馈（例如，来自数字视频广播电视、有线电视、卫星电视、在线流媒体通道、DVD或任何其他视频源）中第一接收视频信号。过程由系统接收来自客户的比较请求开始（步骤80）。
系统随后用指纹签名计算在设备（通过图3的过程）上产生的压缩视频签名，指纹签名从包括相关元数据的视频反馈计算（通过图5中的过程）（步骤84）。系统为设备发送元数据，并且来自请求的签名被与在数据库中的签名作比较（步骤86）。系统搜索匹配的签名（步骤88）。如果没有找到匹配，对应指纹签名的相关元数据被发送给客户（步骤90）。如果匹配没有找到，则一个“无匹配”通知消息被发送给客户（步骤92）。
根据本发明优选实施例，图7是用于从电视或视频显示器检测视频信号表面的主处理步骤的简化流程图。图7表示用于检测和提取视频信号表面的示例性实施例。需要注意的是其他方法可被实施以获得相同的结果。
过程由使用图1的VSCC过程中描述的CEN设备来检测和提取视频信号表面开始（步骤100）。彩色图像被分割到通道（步骤102）。系统确定是否对之前帧的检测是成功的（步骤104）。如果检测不成功，新的通道和阈值被选择（步骤106）。系统在帧内尝试检测四边形（步骤108），并且验证是否四边形被检测到（步骤110）。需要注意的是在步骤108中的四边形提取可产生多于一个候选四边形。
如果没有四边形被检测到，则系统确定是否选择新的通道和阈值（步骤112）。系统返回步骤106或返回“没有找到四边形”消息（步骤114）。如果步骤104中的帧检测是成功的，系统使用从之前的帧中保存的通道和阈值（步骤116），并且过程继续进行步骤108。如果步骤110中检测到四边形，则系统保存成功的通道和阈值（步骤118），并返回四边形坐标（步骤120）。
根据本发明优选实施例，图8是用于从电视或视频显示器检测四边形的主处理步骤的简化流程图。图8展示了用于检测四边形的示例性实施例。需要注意的是其他的方式可被实施以达到相同的结果。图12和13提供了用于对应于电视或视频显示器提取四边形的可代替实施例。
图8中的过程由系统获取选择的彩色通道“C”和阈值“T”（步骤130）开始。通道C被按照阈值T阈值化（步骤132），并且在得到的二进制图像中的连接组件被检测（步骤134）。所有连接的组件被随后迭代处理（步骤136），并且每个连接组件轮廓被多边形近似（步骤138）。步骤138可产生多于一个候选多边形。
系统随后确定多边形是否是凸四边形（步骤140）。如果多边形不是凸四边形，则系统寻找连接的组件的凸形外壳（如此处所用的计算几何）（步骤142），并且用多边形近似凸形外壳（步骤144）。系统检查多边形是否是凸四边形（步骤146）。如果多边形不是凸四边形，则系统检查是否任何连接的组件被留在过程循环中（步骤148）。如果没有连接的组件被留在过程循环中，则过程返回步骤138。
如果在步骤140或146中，多边形是凸四边形，系统保存检测到的四边形（步骤150），并确定是否“贪婪模式”（例如例如只搜索第一个检测到的凸多边形）是活跃的（步骤152）。如果贪婪模式不是活跃的，过程继续进行步骤148。如果贪婪模式是活跃的，或如果没有连接的部件留在步骤148的过程循环中，系统返回任何找到的四边形坐标（步骤154）。
根据本发明优选实施例，图9是用于从背景场景中获取VSCC的系统结构的简化原理图。广播装置160（例如，电视、电缆和卫星）分别通过传输A和传输B传输视频反馈162（例如，DVB-T、ATSC和TV）和元数据164（例如，电子节目指南和字幕）到后台系统166。后台系统166包括用于计算和存储压缩签名的压缩签名产生器168，用于分配相关元数据的元数据分配模块170，具有多个数据库（例如节目索引数据库174、广告索引数据库176和观众/花絮索引数据库178）的视频索引库172和实时比较器180。花絮是例如电影预告片的短的视频剪辑。
在背景场景182中的视频显示器181显示广播装置160的内容。CEN设备184通过传输C获取包括视频显示器181的背景场景182。CEN设备184检测显示的内容，从内容中提取帧，并计算帧的压缩签名。CEN设备184随后通过传输D发送压缩签名到实时比较器180。
视频显示器181在图9中的扩展视图和CEN设备的显示器184示出了四边形186，其从视频显示器181中被检测到，并从CEN设备184上的背景场景182被提取以将获取的图像处理为帧。实时比较器180随后发送相关的分配的元数据到CEN设备184，其可与图像合并，并与用户在社交网络中的联系人分享。
根据本发明优选实施例，图10是用于从图像创建压缩签名的主处理步骤的简化流程图。过程由从CEN设备中获取帧开始（步骤190），并确定是否帧是彩色图像（步骤192）。如果帧是彩色图像，系统将帧转化为灰度图像（步骤194）。如果帧不是彩色图像，或在将帧转化为灰度图像之后，系统随后初始化空的签名字符串“S”（步骤196）。
系统随后将比例水平L设置为1（步骤198），将图像分割为L×L的矩形子图像（步骤200），迭代处理所有的子图像（步骤202），为每个子图像产生签名字符串“K”（步骤204），并附加K到S（步骤206）。系统随后确定是否任何子图像被留在过程循环中（步骤208）。如果有子图像被留在过程循环中，则过程返回到步骤204。如果没有子图像被留在过程循环中，则过程检查是否L等于使用的最大比例水平（步骤210）。如果L不等于最大比例水平，系统将L增加1（步骤212），并返回到步骤200。如果L等于最大比例水平，系统返回满的签名字符串S（步骤214）。
可用的最大比例水平可被基于输入图像分辨率和个人有兴趣捕获的有趣细节的量而被选择。在一些示例性实施例中，用最大比例水平6可得到完美的结果。
需要注意的是，无论指纹签名什么时间被发送到远程服务器（参照图5），指纹签名可在传输之前被加密。加密基于预期的平台，并可提供多个优势。例如，参照图10的二进制位字符串。可能的传输加密可包括但不限于压缩、特征字符串表示（其实用缩减的特征集，例如从128个ANSI ASCII中取64个或85个，这样字符就可以被压缩表示成人类可读、平台独立的格式），或以其它基于文本的数据格式，例如XML或JSON。在基于文本的数据格式中，特征加密也可避免具体到选择的格式的具体特征。可选的，二进制编码也可在平台独立或平台不独立的情况下使用。
据本发明优选实施例，图11是用于从子图像创建压缩签名的主处理步骤的简化流程图。过程由系统获取子图像区域（步骤220），并初始化空签名字符“K”（步骤222）开始。系统随后确定是否所有在左边的像素的和比所有在右边的像素的和要小（步骤224）。
如果所有在左边的像素的和不小于所有在右边的像素的和，则系统附加0比特给K（步骤226），并继续进行步骤230。如果所有在左边的像素的和小于所有在右边的像素的和，则系统附加1比特给K（步骤228），并继续进行步骤230。
系统随后确定是否所有在上半部的像素的和比所有在下半部的像素的和要小（步骤230）。如果所有在上半部的像素的和不小于所有在下半部的像素的和，则系统附加0比特给K（步骤232），并继续进行步骤236。如果所有在上半部的像素的和小于所有在下半部的像素的和，则系统附加1比特给K（步骤238），并继续进行步骤236。
系统随后确定是否所有在左上角和右下角的像素的和比所有在右上角和左下角的像素的和要小（步骤236）。如果所有在左上四分之一和右下四分之一的像素的和不小于所有在右上四分之一和左下四分之一的像素的和，则系统附加0比特给K（步骤238），并继续进行步骤242。如果所有在左上角和右下角的像素的和小于所有在右上角和左下角的像素的和，则系统附加1比特给K（步骤240），并继续进行步骤242。
系统随后确定是否所有在中间水平三分之一的像素的和比所有在左和右水平三分之一的像素的和要小（步骤242）。如果所有在中间水平三分之一的像素的和不小于所有在左和右水平三分之一的像素的和，则系统附加0比特给K（步骤244），并继续进行步骤248。如果所有在中间水平三分之一的像素的和小于所有在左和右水平三分之一的像素的和，则系统附加1比特给K（步骤246），并继续进行步骤248。
系统随后确定是否所有在中间垂直三分之一的像素的和比所有在上下垂直三分之一的像素的和要小（步骤248）。如果所有在中间垂直三分之一的像素的和不小于所有在上下垂直三分之一的像素的和，则系统附加0比特给K（步骤250），并继续进行步骤254。如果所有在中间垂直三分之一的像素的和小于所有在上下垂直三分之一的像素的和，则系统附加1比特给K（步骤252），并继续进行步骤254。
根据本发明优选实施例的替换实施例，图12是用于从电视或视频显示器检测视频信号表面的主处理步骤的简化流程图。过程由系统从设备中获取灰度图像（步骤260），并检测垂直边缘分段（步骤262）和水平边缘分段（步骤264）开始。步骤262和264，以及随后连接的过程步骤，可被串行处理（其中任意一个先被执行）或并行处理。
系统随后只选择具有一个位于图像中心上方的端点和图像中心下方的端点的垂直边缘分段（步骤266）和具有一个位于图像中心左边的端点和图像中心右边的端点的水平边缘分段（步骤268）。系统随后在黑色图像“I”上画出选择的垂直分段（步骤270），并在图像I上画出选择的水平分段（步骤272）。图像随后执行形态学膨胀以连接分段线（步骤274），并提取四边形（步骤276）。步骤276可产生多于一个候选四边形。步骤276中四边形提取的详细步骤参照图3在下面详细描述。
根据本发明优选实施例的替换实施例，图13是用于从电视或视频显示器检测四边形的主处理步骤的简化流程图。过程由系统用选择的边缘获取二进制图像（步骤280）开始，选择的边缘参照图12所描述。系统化检测在二进制图像中连接的组件（步骤282），迭代处理所有连接的组件（步骤284），并用多边形近似所有连接的组件的轮廓（步骤286）。步骤286可产生多于一个候选多边形。
系统随后确定是否多边形是凸四边形（步骤288）。如果多边形是凸四边形是凸四边形，则过程继续进行步骤304。如果多边形不是凸四边形，则系统寻找连接的组件的凸形外壳.（步骤290），并且用多边形近似凸形外壳（步骤292）。
系统确定是否多边形是凸四边形（步骤294）。如果多边形是凸四边形是凸四边形，则过程继续进行步骤304。如果多边形不是凸四边形，则系统确定后是否多边形为三角形（步骤296）。如果多边形不是三角形，则过程继续进行步骤306。如果多边形是三角形，确定是否三角形的一个角接近90度（步骤298）。如果角度都不接近90度，则过程继续进行步骤306。
如果角度中有一个角接近90度，则系统确定是否三角形的斜边中心接近图像中心（步骤300）。如果斜边中心不接近图像中心，择系统增加第四点以完成四边形（例如，平行四边形）（步骤302），并保存检测到的四边形（步骤304）。
系统随后检测是否任何连接的组件被留在过程循环中（步骤306）。如果有连接的组件被留在过程循环中，则过程返回步骤286。如果没有连接的组件被留在过程循环中，则过程返回任何发现的四边形坐标（步骤308）。
在本发明的一些实施例中，可能提供子线性匹配。基于树的数据结构，可以提供对数时间查找和匹配。在二进制位字符串签名的情况下，使用文献（例如，汉明距离和度量树（Metric-Tree）（见维基百科在“度量树”下所列的在线资源））中描述的合适的候选，距离度量可被实施。在其他实施中，覆盖树数据结构（见见维基百科在“度量树”下所列的在线资源-Alina Beygelzimer、Sham Kakade和John Langford，Cover Treesfor Nearest Neighbor，ICML2006）可提供良好的结果。
虽然本发明已经根据有限数量的实施例被描述，但应理解本发明的许多变化、修改和其它应用可被做出。

Claims (22)

1.一种从背景场景中获取视频信号拍照捕获，即VSCC的方法，所述方法包括下列步骤：
（a）将可拍照设备，即CEN朝向视频信号表面；
（b）在所述CEN设备上检测在所述背景场景中的所述视频信号表面的位置；以及
（c）从检测到的视频信号表面提取至少一帧。
2.根据权利要求1所述的方法，所述方法进一步包括步骤：
（d）在所述CEN设备的所述检测到的视频信号表面上显示至少一个图像指示。
3.根据权利要求1所述的方法，所述方法进一步包括步骤：
（d）在提取的步骤中，分割至少一个帧的至少一个各自的彩色图像到至少两个各自的通道，每个通道具有一个各自的阈值；
（e）确定是否来自之前帧的之前通道和之前阈值能成功检测至少一个四边形；
（f）如果所述确定的步骤是成功的，跳到步骤（h）；
（g）选择至少一个可替换的各自通道，其具有各自的新阈值，其中至少一个可替换的各自通道是至少一个新的各自通道或具有不同的各自阈值的之前通道；
（h）使用所述之前通道和所述之前阈值或使用至少一个可替换的各自通道和所述各自阈值在至少两个通道中的一个检测至少一个四边形；
（i）如果检测至少一个四边形的步骤是成功的，存储表示通道是成功的一个指示器和各自的成功的阈值；
（j）如果所述检测至少一个四边形的步骤是不成功的，迭代步骤（g）-（i）；
（k）为每个检测到的四边形提供各自的坐标。
4.根据权利要求3所述的方法，所述检测所述至少一个四边形的步骤包括步骤：
（i）在所述彩色图像中检测至少一个连接的组件；
（ii）用第一多边形来近似至少一个连接的组件的轮廓；
（iii）确定是否至少一个第一多边形是凸多边形；
（iv）如果所述至少一个第一多边形是凸多边形，则进行存储的步骤；
（v）如果所述至少一个第一多边形不是凸多边形，寻找至少一个连接的组件的凸形外壳；
（vi）用至少一个第二多边形近似每个凸形外壳；
（vii）进行存储的步骤。
5.根据权利要求3所述的方法，其中所述确定的步骤由找到第一个匹配终止。
6.根据权利要求1所述的方法，其中所述方法进一步包括步骤：
（d）从至少一个提取的帧获取至少一个图像；
（e）从至少一个图像计算至少一个压缩签名；
（f）将至少一个压缩签名与至少一个在数据库中的存储压缩签名作比较；
（g）确定是否在至少一个压缩签名和至少一个存储压缩签名中至少一个匹配被发现。
7.根据权利要求6所述的方法，其中所述确定的步骤由找到第一个匹配终止。
8.根据权利要求6所述的方法，其中所述方法进一步包括步骤：
（i）将所述数据库存储在CEN设备中以执行比较的步骤和确定的步骤。
9.根据权利要求6所述的方法，所述比较的步骤和确定的步骤通过转移至少一个压缩签名到远程实体以提供至少一个匹配而被执行。
10.根据权利要求1所述的方法，其中所述方法进一步包括步骤：
（d）从至少两个提取的帧中产生视频；
（e）从所述视频中计算至少一个压缩视频签名；
（f）将至少一个压缩视频签名与在数据库中的至少一个存储签名作比较；
（g）确定是否在至少一个压缩视频签名和至少一个存储签名中至少一个匹配被发现。
11.根据权利要求1所述的方法，其中所述方法进一步包括步骤：
（d）确定是否至少一帧在至少一个彩色图像中；
（e）如果所述至少一帧不在至少一个彩色图像中，提到初始化步骤；
（f）如果所述至少一帧在至少一个彩色图像中，将至少一个彩色图像转化为至少一个灰度图像；
（g）为至少一个灰度图像初始化至少一个初始空白签名字符串；
（h）为至少一个灰度图像设置至少一个比例水平“L”；
（i）将至少一个灰度图像分割为至少一个L×L的矩形细分；
（j）为至少一个对应子图像产生至少一个图像签名字符串；
（k）将至少一个图像签名字符串附加到至少一个初始空白签名字符串；
（l）为至少一个比例水平L的所有值迭代步骤（h）-（j）；
（m）通过处理至少一个比例水平L的最大比例水平，提供满的签名字符串。
12.根据权利要求11所述的方法，其中所述产生至少一个图像签名字符串的方法包括步骤：
（i）确定是否左边的和比右边和少，所述左边的和是所述至少一个子图像左半边所有像素的和，所述右边和是所述至少一个子图像右半边所有像素的和；
（ii）如果所述左边和比所述右边和要小，附加1比特到至少一个图像签名字符串；
（iii）如果所述左边和大于或等于所述右边和，附加0比特到至少一个图像签名字符串；
（iv）为顶部和和底部和分别迭代步骤（i）-（iii），所述顶部和是所述至少一个子图像上半部所有像素的和，所述底部和是所述至少一个子图像下半部所有像素的和；
（v）为第一角和和第二角和分别迭代步骤（i）-（iii），所述第一角和是所述至少一个子图像左上四分之一和右下四分之一的所有像素的和，所述第二角和是所述至少一个子图像右上四分之一和左下四分之一的所有像素的和；
（vi）为中间水平和和两侧水平和分别迭代步骤（i）-（iii），所述中间水平和是所述至少一个子图像中间水平部分所有像素的和，所述两侧水平和是所述至少一个子图像左边水平部分和右边水平部分所有像素的和；
（vii）为中间垂直和和两侧垂直和分别迭代步骤（i）～（iii），所述中间垂直和是所述至少一个子图像中间垂直部分所有像素的和，所述两侧垂直和是所述至少一个子图像左边垂直部分和右边垂直部分所有像素的和。
13.根据权利要求1所述的方法，其中所述方法进一步包括步骤：
（d）在提取的步骤，从至少一帧中获取至少一个灰度帧；
（e）检测至少两个垂直边缘分段和至少一个水平边缘分段，或至少一个水平边缘分段和至少两个水平边缘分段；
（f）只从具有图像中心上方端点和图像中心下方端点的垂直边缘分段中选择分段；
（g）在黑色图像中画出至少一个选择的垂直分段；
（h）不论只从垂直边缘分段中选择的步骤怎样，只从具有图像中心上方端点和图像中心下方端点的水平边缘分段中选择分段；
（i）在所述黑色图像中画出至少一个选择的水平分段；
（j）在所述黑色图像上进行形态学膨胀以连接至少一个选择的水平分段和至少一个选择的垂直分段；
（k）从所述黑色图像中提取至少一个四边形。
14.根据权利要求13所述的方法，其中所述从所述黑色图像中提取所述至少一个四边形的方法包括所述步骤：
（i）在所述黑色图像中确定至少一个连接的组件；
（ii）用至少一个第一多边形近似至少一个连接的组件的每个轮廓；
（iii）确定是否至少一个第一多边形是凸四边形；
（iv）如果至少一个第一多边形是凸四边形，存储至少一个第一多边形；
（v）如果所述至少一个第一多边形不是凸四边形，寻找至少一个连接的组件的凸形外壳；
（vi）用至少一个第二多边形近似每个凸形外壳；
（vii）确定是否至少一个第二多边形是凸四边形；
（viii）如果至少一个第二多边形是凸四边形，存储至少一个第二多边形；
（ix）如果所述至少一个第二多边形不是凸四边形；
（x）确定是否至少一个第二多边形是三角形；
（xi）如果所述至少一个第二多边形是三角形，确定是否所述三角形的一个角接近90度；
（xii）如果所述角度接近90度，确定是否所述三角形的斜边中心接近黑色图像的图像中心；
（xiii）如果所述斜边中心接近所述图像中心，给至少一个第二多边形增加第四点以完成四边形；以及
（xiv）为每个检测到的四边形提供各自的坐标。
15.一种用于比较从背景场景中获取的视频信号拍照捕获，即VSCC的VSCC签名和实时签名的方法，所述方法包括以下步骤：
（a）从所述视频流中提取相关元数据；
（b）获取对应于来自至少以一个源的视频流而对应于所述视频流的相关源元数据；
（c）从所述视频流计算至少一个压缩服务器签名；
（d）将至少一个压缩服务器签名存储在数据库中。
16.根据权利要求15所述的方法，其中所述存储的步骤包括：
将至少一个压缩服务器签名和相关元数据和/或相关源元数据存储在数据库中。
17.根据权利要求15所述的方法，所述方法进一步包括步骤：
（e）基于接收具有至少一个压缩客户签名的客户请求，将至少一个压缩客户签名与在数据库中的至少一个存储压缩服务器签名作比较；
（f）确定是否在至少一个压缩客户签名和至少一个存储压缩服务器签名中至少一个匹配被发现；
（g）通过提供至少一个匹配来满足客户的请求。
18.根据权利要求15所述的方法，其中所述相关元数据和所述相关源元数据被从所述组中选择，所述组包括：视频内容通道、视频内容节目、节目类型、程序细节、演员表细节、字幕、相关的广告、相关的促销、观众活动、观众评论、收视率、收视统计、竞猜内容、投票内容和呼叫执行的内容。
19.一种用于从背景场景中获取视频信号拍照捕获，即VSCC的设备，所述设备包括：
（a）相机模块，其用于在所述设备上检测背景场景中视频信号表面的位置；以及
（b）处理模块以：
（i）从所述检测到的视频信号表面中提取至少一帧；
（ii）从所述提取到的至少一帧中获取至少一个图像；
（iii）从所述至少一个图像计算至少一个压缩签名。
20.一种用于从背景场景中获取视频信号拍照捕获，即VSCC的系统，所述系统包括：
（a）服务器处理器，其用于接收至少一个客户请求，其具有至少一个压缩客户签名；
（b）压缩签名产生器，其用于产生压缩视频提供者签名；
（c）元数据分配模块，其用于从元数据提供者分配元数据；
（d）视频索引库，其用于存储压缩视频提供者签名；
（e）实时比较器，其用于比较至少一个压缩客户签名和在所述视频索引库中的至少一个存储压缩视频提供者签名；
（f）分析模块，其用于确定是否在至少一个压缩客户签名和至少一个存储压缩视频提供者签名中至少一个匹配被发现；
（g）满足模块，其通过提供至少一个匹配满足所述客户需求。
21.一种非临时性计算机可读介质，其具有计算机可读代码实施在所述非临时性计算机可读介质中，所述计算机可读代码包括：
（a）程序代码，其用于在可拍照，即CEN设备上检测背景场景中的视频信号表面的位置；
（b）程序代码，其用于从所述检测到的视频信号表面提取止至少一帧；
（c）程序代码，其用于从所述提取到的至少一帧获取至少一个图像；
（d）程序代码，其用于从所述至少一个图像计算至少一个压缩签名。
22.一种非临时性计算机可读介质，其具有计算机可读代码实施在所述非临时性计算机可读介质中，所述计算机可读代码包括：
（a）程序代码，其用于接收具有至少一个压缩客户签名的至少一个客户请求；
（b）程序代码，其用于产生压缩视频提供者签名；
（c）程序代码，其用于从元数据提供者处分配元数据；
（d）程序代码，其用于存储所述压缩视频提供者签名；
（e）程序代码，其用于比较至少一个压缩客户签名和在视频索引库中的至少一个存储压缩视频提供者签名；
（f）程序代码，其用于确定是否在至少一个压缩客户签名和至少一个存储压缩视频提供者签名中至少一个匹配被找到；
（g）程序代码，其通过提供至少一个匹配来满足客户的要求。
CN201280022687.8A 2011-03-31 2012-04-01 使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质 Pending CN103797494A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161469875P 2011-03-31 2011-03-31
US61/469,875 2011-03-31
PCT/IB2012/051584 WO2012131653A2 (en) 2011-03-31 2012-04-01 Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device

Publications (1)

Publication Number Publication Date
CN103797494A true CN103797494A (zh) 2014-05-14

Family

ID=46932009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280022687.8A Pending CN103797494A (zh) 2011-03-31 2012-04-01 使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质

Country Status (6)

Country Link
US (3) US9602870B2 (zh)
EP (1) EP2691919A4 (zh)
JP (2) JP2014512128A (zh)
KR (1) KR20140043070A (zh)
CN (1) CN103797494A (zh)
WO (1) WO2012131653A2 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012131653A2 (en) * 2011-03-31 2012-10-04 Tvtak Ltd Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
US9515904B2 (en) * 2011-06-21 2016-12-06 The Nielsen Company (Us), Llc Monitoring streaming media content
US8989515B2 (en) 2012-01-12 2015-03-24 Kofax, Inc. Systems and methods for mobile image capture and processing
US20130276012A1 (en) * 2012-04-11 2013-10-17 2Nd Screen Limited Method, Apparatus and Computer Program for Triggering an Event
JP5999582B2 (ja) * 2012-10-11 2016-09-28 カシオ計算機株式会社 情報出力装置及びプログラム
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US10075484B1 (en) * 2014-03-13 2018-09-11 Issuu, Inc. Sharable clips for digital publications
US9613448B1 (en) 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
US9531999B2 (en) 2014-04-14 2016-12-27 Ricoh Co., Ltd. Real-time smart display detection system
US9760788B2 (en) * 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US9749685B2 (en) 2015-07-23 2017-08-29 Echostar Technologies L.L.C. Apparatus, systems and methods for accessing information based on an image presented on a display
US10511892B2 (en) * 2016-12-30 2019-12-17 DISH Technologies L.L.C. Systems and methods for facilitating content discovery based on augmented context
JP6304847B1 (ja) * 2017-04-28 2018-04-04 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
US10992400B2 (en) * 2017-05-05 2021-04-27 Vidhi Techinnovation Opportunities Network Private Limited Method and system for extraction of event data from user devices
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703694A (zh) * 2001-12-11 2005-11-30 皇家飞利浦电子股份有限公司 用于在视频节目中检索与人物相关的信息的系统和方法
CN101299269A (zh) * 2008-06-13 2008-11-05 北京中星微电子有限公司 静止场景的标定方法及装置
US20080298571A1 (en) * 2007-05-31 2008-12-04 Kurtz Andrew F Residential video communication system
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US7421723B2 (en) 1999-01-07 2008-09-02 Nielsen Media Research, Inc. Detection of media links in broadcast signals
JP2000285654A (ja) 1999-03-31 2000-10-13 Sony Corp データ記録装置及びデータの記録方法
US6469749B1 (en) 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
JP3884226B2 (ja) * 2000-10-10 2007-02-21 オリンパス株式会社 撮像システム
JP4349004B2 (ja) * 2003-06-16 2009-10-21 日本電気株式会社 テレビ受像機検出装置および方法
JP2006085654A (ja) 2004-09-14 2006-03-30 Bizmax:Kk 短期就労者・パート・アルバイトのカードシステム
JP2006285654A (ja) * 2005-03-31 2006-10-19 Dainippon Printing Co Ltd 商品情報検索システム
WO2007004519A1 (ja) * 2005-06-30 2007-01-11 Olympus Corporation 検索システム及び検索方法
JP2007049584A (ja) 2005-08-12 2007-02-22 Casio Comput Co Ltd 宣伝支援システム及びプログラム
JP2009505477A (ja) * 2005-08-12 2009-02-05 エヌエックスピー ビー ヴィ ディジタル画像安定化のための方法及びシステム
US20120114167A1 (en) 2005-11-07 2012-05-10 Nanyang Technological University Repeat clip identification in video data
US20070136741A1 (en) 2005-12-09 2007-06-14 Keith Stattenfield Methods and systems for processing content
US20080066098A1 (en) 2006-08-25 2008-03-13 Skyclix, Inc. Phone-based targeted advertisement delivery
US8174555B2 (en) * 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
US8676273B1 (en) * 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US20090083781A1 (en) * 2007-09-21 2009-03-26 Microsoft Corporation Intelligent Video Player
GB2460844B (en) 2008-06-10 2012-06-06 Half Minute Media Ltd Automatic detection of repeating video sequences
EP2332328A4 (en) 2008-08-18 2012-07-04 Ipharro Media Gmbh PROVIDING ADDITIONAL INFORMATION
US20100302376A1 (en) * 2009-05-27 2010-12-02 Pierre Benoit Boulanger System and method for high-quality real-time foreground/background separation in tele-conferencing using self-registered color/infrared input images and closed-form natural image matting techniques
JP5314521B2 (ja) * 2009-07-22 2013-10-16 共同印刷株式会社 画像処理システム及び画像処理方法
US20110066942A1 (en) 2009-09-14 2011-03-17 Barton James M Multifunction Multimedia Device
US20110286628A1 (en) * 2010-05-14 2011-11-24 Goncalves Luis F Systems and methods for object recognition using a large database
US8332429B2 (en) * 2010-06-22 2012-12-11 Xerox Corporation Photography assistant and method for assisting a user in photographing landmarks and scenes
US8781152B2 (en) * 2010-08-05 2014-07-15 Brian Momeyer Identifying visual media content captured by camera-enabled mobile device
WO2012131653A2 (en) * 2011-03-31 2012-10-04 Tvtak Ltd Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
GB201307116D0 (en) * 2013-04-18 2013-05-29 Mbda Uk Ltd Imaging apparatus and method
US10129490B2 (en) * 2015-04-05 2018-11-13 Hema Imaging Llc Systems and approaches for thermal image corrections

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703694A (zh) * 2001-12-11 2005-11-30 皇家飞利浦电子股份有限公司 用于在视频节目中检索与人物相关的信息的系统和方法
US20080298571A1 (en) * 2007-05-31 2008-12-04 Kurtz Andrew F Residential video communication system
CN101299269A (zh) * 2008-06-13 2008-11-05 北京中星微电子有限公司 静止场景的标定方法及装置
CN101840422A (zh) * 2010-04-09 2010-09-22 江苏东大金智建筑智能化系统工程有限公司 基于目标特征和报警行为的智能视频检索系统和方法

Also Published As

Publication number Publication date
WO2012131653A3 (en) 2012-11-29
US20140020005A1 (en) 2014-01-16
EP2691919A4 (en) 2015-04-15
US20180077452A1 (en) 2018-03-15
KR20140043070A (ko) 2014-04-08
US9860593B2 (en) 2018-01-02
JP2016054490A (ja) 2016-04-14
EP2691919A2 (en) 2014-02-05
WO2012131653A2 (en) 2012-10-04
US20170150210A1 (en) 2017-05-25
JP2014512128A (ja) 2014-05-19
US9602870B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
CN103797494A (zh) 使用可拍照设备检测、索引和比较显示在背景场景中的视频信号的设备、系统、方法和介质
US10375451B2 (en) Detection of common media segments
US11659255B2 (en) Detection of common media segments
US8595781B2 (en) Methods for identifying video segments and displaying contextual targeted content on a connected television
CN107846561B (zh) 确定和显示上下文定向内容的方法及系统
US20160050465A1 (en) Dynamically targeted ad augmentation in video
US20150227780A1 (en) Method and apparatus for determining identity and programing based on image features
US20100095326A1 (en) Program content tagging system
US9043828B1 (en) Placing sponsored-content based on images in video content
CN103686254A (zh) 广告的自动本地化
CN104823454A (zh) 向辅助连接设备的内容推送
US8156001B1 (en) Facilitating bidding on images
CN106060578A (zh) 生成视频数据
CN103686344A (zh) 增强视频系统及方法
US20170213248A1 (en) Placing sponsored-content associated with an image
CN103796069A (zh) 用于提供交互式广告的系统和方法
US20120150990A1 (en) System and method for synchronizing with multimedia broadcast program and computer program product thereof
CN103679505A (zh) 用于提供和计费广告机会的系统和方法
US11979645B1 (en) Dynamic code integration within network-delivered media

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1193895

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140514

WD01 Invention patent application deemed withdrawn after publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1193895

Country of ref document: HK