CN104837060A - 确定广告和媒体中的其它插入物的位置和时间安排的方案 - Google Patents

确定广告和媒体中的其它插入物的位置和时间安排的方案 Download PDF

Info

Publication number
CN104837060A
CN104837060A CN201510054926.3A CN201510054926A CN104837060A CN 104837060 A CN104837060 A CN 104837060A CN 201510054926 A CN201510054926 A CN 201510054926A CN 104837060 A CN104837060 A CN 104837060A
Authority
CN
China
Prior art keywords
content
frame
face
scene
district
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510054926.3A
Other languages
English (en)
Inventor
G.M.扎卢斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/175,996 external-priority patent/US8988609B2/en
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Priority to CN201711402792.5A priority Critical patent/CN108093271A/zh
Publication of CN104837060A publication Critical patent/CN104837060A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

非临时计算机可读存储介质存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序,所述步骤包括:分析图像;使用脸识别技术识别图像中的一张或多张脸;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及确定插入区域是否存在于图像中,额外的内容可插入图像中而不阻碍第一感兴趣区域。另一计算机程序适合于使基于处理器的系统执行包括确定插入区域是否可基于颜色分成两个或多个区的步骤。还公开了执行这些步骤中的一个或多个的方法和基于处理器的装置。

Description

确定广告和媒体中的其它插入物的位置和时间安排的方案
相关申请的交叉引用
本申请是2014年2月7日提交的标题为“SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA”的美国专利申请号14/175,996的继续,专利申请号14/175,996是2013年5月9日提交的、现在是美国专利号8,665,373的标题为“SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA”的美国专利申请号13/891,095的部分继续(CIP),专利申请号13/891,095是2007年3月22日提交的、现在是美国专利号8,451,380的标题为“SCHEME FOR DETERMINING THE LOCATIONS AND TIMING OF ADVERTISEMENTS AND OTHER INSERTIONS IN MEDIA”的美国专利申请号11/689,982的继续,这些专利申请的全部公开都特此通过引用被全部充分地并入本文。
发明背景
1.发明领域
本发明通常涉及数字视频处理,且更具体地涉及在程序内容中的图像和视频的数字插入。
2.相关技术的讨论
广告的一种传统形式是电视商业广告。这样的电视商业广告一般由在从几秒到几分钟的长度中变动的短广告单元组成。商业广告出现在电视节目之间,并以有规律的间隔中断电视节目。广告客户的目标是保持观看者的注意力集中于商业广告上,但常常观看者将在商业广告期间改变频道以避免观看商业广告。
观看者避免电视商业广告的另一方式是通过使用数字视频记录器(DVR)。使用DVR,人可记录电视节目并接着在重放期间快速向前通过商业广告。其它媒体播放器被预期给观看者提供跟踪和跳过商业广告的甚至更大的能力。
关于这些和其它背景信息因素,包括用户创建的视频服务例如的增长和流行以及对在这样的媒体中插入广告的需要,发展了本发明。
发明概要
一个实施方案提供存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的非临时计算机可读存储介质,所述步骤包括:分析图像;使用脸识别技术识别图像中的一张或多张脸;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及确定插入区域是否存在于图像中,额外的内容可插入图像中而不阻碍第一感兴趣区域。
另一实施方案提供存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的非临时计算机可读存储介质,所述步骤包括:分析内容的帧的序列;识别由帧的序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域;以及确定插入区域是否可基于颜色被分成两个或多个区。
另一实施方案提供一种方法,其包括:分析内容的帧的第一序列;使用脸识别技术识别由帧的第一序列描绘的在场景中的一张或多张脸;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域。
另一实施方案提供一种方法,其包括:分析内容的帧的序列;识别由帧的序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域;以及确定插入区域是否可基于颜色被分成两个或多个区。
另一实施方案提供存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的非临时计算机可读存储介质,所述步骤包括:播放帧的第一序列,其中帧的第一序列包括被插入由帧的第一序列中的至少一些帧描绘的场景内的广告;以及播放在帧的第一序列之后的帧的第二序列;其中广告通过一个过程被插入帧的第一序列中的场景内,该过程可包括:使用脸识别技术识别场景中的一张或多张脸;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及将广告插入场景中的不阻碍第一感兴趣区域的插入区域内。
另一实施方案提供供内容使用的方法,其包括:分析内容的帧的序列;确定区域是否存在于由帧的序列描绘的场景中,额外的内容可插入场景中而不阻碍在场景中的活动;对于任何这样的区域,确定当帧的序列被播放时区域是可用的时间的量;以及对于任何这样的区域,确定区域的尺寸。
另一实施方案提供存储由基于处理器的系统可执行的计算机程序的存储介质,计算机程序使基于处理器的系统执行步骤,其包括:分析内容的帧的序列;确定插入区域是否存在于由帧的序列描述的场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域;对于任何这样的区域,确定当帧的序列被播放时区域是可用的时间的量;以及对于任何这样的区域,确定区域的尺寸。
另一实施方案提供供内容使用的装置,其包括:配置成分析内容的帧的序列并确定区域是否存在于由帧的序列描绘的场景中的基于处理器的系统,额外的内容可插入场景中而不阻碍在场景中的活动;其中对于任何这样的区域,基于处理器的系统还配置成确定当帧的序列被播放时区域是可用的时间的量并确定区域的尺寸。
通过参考阐述例证性实施方案(其中本发明的实施方案的原理被利用)的下面的详细描述和附图将得到本发明的各种实施方案的特征和优点的更好理解。
附图简述
本发明的实施方案的上述和其它方面、特征和优点从结合附图介绍的其中的下面更具体的描述中将变得更明显,其中:
图1是示出根据本发明的实施方案的供内容使用的方法的流程图;
图2A和2B是示出根据本发明的实施方案的图1的方法的示例应用的屏幕截图;
图3A和3B是示出根据本发明的实施方案的图1的方法的另一示例应用的屏幕截图;
图4是示出根据本发明的另一实施方案的供内容使用的方法的流程图;
图5A、5C和5D是屏幕截图,而图5B是依尺寸排列和阈值设置图,都示出根据本发明的实施方案的图4的方法的示例应用;
图6A和6B是示出根据本发明的实施方案的图4的方法的另一示例应用的屏幕截图;
图7是示出根据本发明的另一实施方案的供内容使用的方法的流程图;
图8A、8B、8C、8D、8E、8F、8G和8H是示出根据本发明的实施方案的图7的方法的示例应用的屏幕截图;
图9是根据本发明的另一实施方案的供内容使用的方法的时序图;以及
图10是示出根据本发明的实施方案的可用于运行、实现和/或执行在本文示出和描述的方法和/或技术的基于处理器的系统的方框图。
详细描述
当观看者如上所述避免传统电视商业广告时,广告客户的消息没有被观看者接收到,这是不利的。由于这样的缺点,本发明的实施方案涉及广告或其它内容到电视节目或其它节目本身中的插入。
本发明的一些实施方案涉及用于确定广告或可放置在内容中的其它插入物的时间安排和位置的方法。这样的内容可包括任何类型的内容,例如电视节目、电影、视频、网页、游戏等。在一些实施方案中,该方法可通过分析随着时间的过去的视频帧的序列来操作以确定干净的、整齐的或媒体中的其它区域或区,其中在场景中的活动不被广告覆盖物所占据的区阻碍。
例如,参考图1,示出了根据本发明的实施方案操作的方法100。可供任何类型的内容使用的方法100在步骤102开始,在步骤102,分析内容的帧的序列。作为例子,视频帧的序列的视频分析可用于确定适当的位置以将广告或其它图形安置在媒体内。在一些实施方案中,这样的分析可在逐帧基础上自动进行。
在步骤104中,确定区域是否存在于由帧的序列描绘的场景中,额外的内容可插入场景而不阻碍场景中的活动。在一些实施方案中,这可通过逐帧仔细检查视频来完成以识别运动在哪里发生或空白区。例如,在屏幕的一侧上可能有人和行动发生,但在屏幕的另一侧上没有运动。没有运动的区域可以是插入广告或其它额外的内容的适当地方。
在步骤106中,对于被识别为用于接收额外的内容的任何区域,确定当帧的序列被播放时区域是可用的时间的量。且在步骤108中,确定任何识别出的区域的尺寸。因此,实现这种方法的系统可确定没有活动的区是否大到足以适合广告。
方法100可由任何类型的计算机或基于处理器的系统自动执行。这样的系统可随着时间的过去进行逐帧分析以跟踪在场景中的行动并标记适合于广告或其它图像或内容的插入的视频的块。在一些实施方案中,逐帧分析可由图像分析软件进行。
因此,在一些实施方案中,系统看视频中的帧并识别在视频中的有活动和没有活动的位置。在范例情景中,摄像机是固定的且演员是移动的。也就是说,帧的序列包括由固定摄像机拍摄的视频的表示。在更复杂的情景中,摄像机在包括固定物体以及移动物体的整个场景中移动或摇摄。也就是说,帧的序列包括由移动摄像机拍摄的视频的表示。
图2A示出固定摄像机情景的例子。在本例中,帧边框202代表在帧的序列中的每个帧,因为摄像机是固定的。如果两个孩子204、206正在屏幕地右侧上玩足球208,则广告可放置在屏幕的另一侧上,以便不阻碍玩足球的孩子的视野。以这种方式,广告可安放在场景中,以便不阻碍移动的物体或活动的视野,即,玩足球208的孩子204、206。
图2B示出插入场景中的“最佳苏打”的广告212。因为玩足球208的两个孩子204、206仍然是可见的,关于视频的焦点的活动不被广告212阻碍。也就是说,在场景中的主要东西或目标或移动物体不被广告212阻碍。
在一些实施方案中,在分析帧时,系统可将帧或帧的部分标记为不能够接收广告,因为没有太多运动。这样的帧或帧的部分可在本文被称为太“脏”。因此在本例中,系统可挡住与玩足球208的孩子204、206相关的帧的部分,使得那些空间不用于广告或其它插入物的放置。
作为另一个例子,在某个场景中的所有演员和运动可位于屏幕的左侧上。因此,系统可挡住相应于在屏幕的左侧上的演员的帧的部分,并可指示广告不能放置在那里。也就是说,广告不能放置在屏幕的左侧上,因为有人移动且事情正在屏幕的左侧上发生。然而同时,屏幕的右侧可能是干净的,且它可以在对广告的放置足够的某个时间段期间是干净的。
在一些实施方案中,场景可包含特征化关于帧的信息并包括在帧中移动的物体的历史和动量的元数据,且本发明的一些实施方案可利用这样的元数据来确定在哪个内容(包括广告)中的可能的区可放置在场景中。
在一些实施方案中,可通过在一个或多个帧当中分析帧数据来执行确定帧是否是“脏的”或帧区是否是“脏的”的步骤。可在感兴趣物体和感兴趣区的确定中使用固定或可变阈值。在一些实施方案中,系统也可编码或创建如上所述的数据用于实现内容的重放系统插入。
图3A示出移动摄像机情景的例子。在本例中,帧边框302、304、306代表当摄像机移动时在帧的序列中的三个帧。因为摄像机在整个场景中移动或摇摄,固定物体例如垃圾箱308将看起来在场景的背景上缓慢地滑动。垃圾箱308具有这个外观,因为它定位成朝着帧302的右侧,在帧304的中心附近,并接着朝着帧306的左侧。使用在整个布景中缓慢摇摄的摄像机,且在场景中的物体固定在布景中,每个帧显得脏,因为有恒定的运动。
然而通过审查视频的帧,系统可确定摄像机正移动,场景内的人正移动,但垃圾箱308是固定的。因此,在垃圾箱308上的空间可自由地用于广告或其它图像或图形,因为垃圾箱本身在很大程度上是固定的。
图3B示出插入垃圾箱308上的场景内的“市区房地产”的广告312。在本例中,垃圾箱308包括场景中的区域,额外的内容可插入场景中,而不阻碍场景中的活动。因此,在摄像机正移动或摇摄的情景中的一些实施方案中,系统可识别固定物体,并接着识别广告如何可覆盖到固定物体上。在一些实施方案中,这可通过沿着帧移动支点来完成以从移动物体过滤出固定物体。也就是说,系统可关于参考元件位于帧内哪里来滑动视角点,使得摄像机运动可从在场景中移动的实际演员过滤出。
如上面提到的,方法100(图1)包括用于确定当帧的序列正被播放时区域是可用的时间的量的步骤106和用于确定区域的尺寸的步骤108。例如,系统可确定屏幕的右侧可在某个量的时间期间是自由的,且它在该量的时间期间对某个维是自由的。这个信息可能对选择广告很重要,因为维可能能够采用具有最大尺寸的广告。且此外,那个维可以只在某个量的时间例如2、5、15、20等秒期间是可用的。
在一些实施方案中,系统可搜索在帧的序列中的帧以找到足够大的区或空间来保持某个尺寸的广告。系统也可在足够长的时间期间在视频中搜索以放置某个广告。例如,某个广告可能需要免费的15秒和用于放置广告的通畅区。系统可通过确定视频中的每个空闲区将持续多长时间来完成此。
在一些实施方案中,系统可使用所确定的时间和尺寸信息来扫视广告的数据库并选择适合于可用的维和可用量的时间的广告。因此,在一些实施方案中,存在视频序列的造型,且然后基于多少时间和空间可用于广告,有对广告的数据库查找。例如在一些实施方案中,系统可确定在视频中对于无阻塞区多少时间是可用的。然后,数据库查找确定无阻塞区的尺寸和可用的时间是否满足对在数据库中的任何广告的要求。
在选择特定的广告时可以或可以不使用其它因素。例如,在一些实施方案中,系统可简单地选择满足最大可用时间和最大可用尺寸的下一广告。
或者在一些实施方案中,系统可选择最大化可从出售广告空间产生的收入的广告。各种不同尺寸和类型的广告可最大化可用广告空间的美元收益。例如,可通过用几个较小的广告填充空间或用一个大广告填充空间来产生最大收益。在一些实施方案中,系统可分析可用的空间和时间以基于那些规范最大化美元收益。
在一些实施方案中,系统可使用用于给广告的选择排序以满足经济商业模型的方法。例如,系统可使用用于选择广告的优先级方案。作为另一个例子,几个小广告可用于优化可用空间,其可以比一个大广告产生更多的收益。使用任何这样的情景,系统仍然可确定下一选择的广告是否满足所确定的时间和尺寸规范。
因此,本发明的实施方案提供了用于确定广告和放置在媒体中的其它内容的位置和时间安排的方法。本发明的实施方案可用于自动找到广告或其它内容可被插入于的视频中的空白空间或空白点。也就是说,视频可贯穿根据本发明的实施方案的过程以自动找到在广告可被插入于的视频中的空白空间或空白点。例如,视频的10秒片断可包括2秒的空白或黑色屏幕。在本例中,对于2秒的广告,整个屏幕可能是可用的。因此,可以用广告或其它内容填充10秒视频的20%。
应充分理解,其它类型的内容且不仅仅广告可插入空白空间或空白点中。例如,其它类型的图形、图像、图片等可包括可插入区域中的额外内容,额外的内容可插入该区域中而不阻碍场景中的活动。
因此在一些实施方案中,供内容使用的方法包括:分析内容的帧的序列;确定区域是否存在于由帧的序列描绘的场景中,额外的内容可插入场景中而不阻碍在场景中的活动;对于任何这样的区域,确定当帧的序列被播放时区域是可用的时间的量;以及对于任何这样的区域,确定区域的尺寸。在一些实施方案中,还公开了存储用于使基于处理器的系统执行这些步骤的计算机程序的存储介质和供内容使用的装置。
参考图4,示出了根据本发明的另一实施方案操作的方法400的例子。在一些实施方案中,方法400可用于确定将被插入媒体中的额外内容例如广告的位置和时间安排。在一些实施方案中,方法400使用脸识别技术,以便帮助确定额外内容的插入区域的位置。
方法400在步骤402开始,在步骤402中分析图像。图像可以是静止照片或图片,或是帧的序列中的一个帧,例如视频类型内容的一个帧。
在步骤404中,使用脸识别技术或脸识别工艺在图像中识别一张或多张脸。可使用任一个或多个已知的脸识别技术。在一些实施方案中,识别出的脸可包括人脸。在一些实施方案中,识别出的脸可包括动物和/或人脸。
在步骤406中,识别出的脸中的至少一张被指定为第一感兴趣区域。在一些实施方案中,指定为第一感兴趣区域意味着这是观看者可能有兴趣看的区域,且所以该区域不应被将被插入的额外内容阻碍。在一些实施方案中,如果多于一个识别出的脸被指定为第一感兴趣区域,则识别出的脸共同包括第一感兴趣区域。也就是说,包括所有识别出的脸的区域被指定为第一感兴趣区域。
在一些实施方案中,将一张或多张脸指定为第一感兴趣区域类似于识别在场景中的有活动的区域的上述讨论。也就是说,在场景中的有活动的区域是观看者可能有兴趣看的区域,且所以该区域不应被将被插入的额外内容阻碍。类似地,在场景或图像中的有一张或多张脸的区域也是观看者可能有兴趣看的区域,且所以该区域优选地不应被将被插入的额外内容阻碍。因此在一些实施方案中,识别出的脸可被认为是一种类型的活动。
此外,如下面将讨论的,在一些实施方案中,可调节阈值可与识别出的脸的尺寸、焦点、突出部等相关。可选的可调节阈值可用于规定哪个识别出的脸应包括在第一感兴趣区域中。也就是说,在一些实施方案中,可选的可调节阈值可用于确定哪个识别出的脸上升到不应被将被插入的额外内容阻碍的一种类型的活动的水平。因此,在一些实施方案中,识别出的脸可被认为是一种类型的活动,如果识别出的脸满足阈值设置。
在步骤408中,做出关于插入区域是否存在于图像中的确定,额外的内容可插入该图像中而不阻碍第一感兴趣区域。也就是说,在一些实施方案中,做出关于在图像中是否有被称为插入区域的区域的确定,额外的内容可插入该图像中而不阻碍第一感兴趣区域的视野。如果这样的插入区域存在,则在一些实施方案中,额外的内容例如广告可插入该插入区域中,且这样的额外内容将不阻碍第一感兴趣区域的视野。
现在将参考图5A、5B、5C和5D描述方法400的示例应用。具体地,图5A示出被分析的图像502。如所示,图像502包括几张脸。在一些实施方案中,可分析一批脸。一种或多种脸识别技术或脸识别工艺用于识别图像502中的一张或多张脸。识别出的脸具有几个不同的尺寸。也就是说,有一些大脸504、一些小脸514和具有在最大和最小脸之间的各种尺寸的几张脸506、508、510和512。
在一些实施方案中,下一步骤是指定识别出的脸中的至少一张作为第一感兴趣区域。如上面提到的,在一些实施方案中,指定为第一感兴趣区域意味着这是观看者将可能有兴趣看的区域,且所以该区域不应被将被插入的额外内容阻碍。在一些实施方式中,脸的尺寸用于确定哪个识别出的脸应被指定为第一感兴趣区域。例如,认为观看者将可能更有兴趣看图像中的比较小的脸更大的脸。进一步认为较大的脸将可能是预期在图像中被捕获的主要主题。因此,将较大的脸指定为第一感兴趣区域意味着它们将不被额外的内容例如将被插入的一个或多个广告阻碍(或覆盖)。
因此在一些实施方案中,将识别出的脸中的至少一张共同指定为第一感兴趣区域的步骤包括确定每个识别出的脸的尺寸的步骤。在每个识别出的脸的尺寸被确定之后,然后基于识别出的脸的尺寸来选择将被包括在第一感兴趣区域中的识别出的脸。
在一些实施方案中,基于识别出的脸的尺寸来选择脸的过程可利用阈值设置。具体地,可选的阈值设置可被设置为规定将被包括在第一感兴趣区域中的识别出的脸的尺寸。在一些实施方案中,可选的阈值设置可用于基于脸是否与其它脸成某个比例来选择包括在第一感兴趣区域中的脸。可选的阈值设置可规定该比例,其在一些实施方案中可由用户设置,或可由应用设置,或可被自动设置,或可以用某种其它方式设置。
图5B示出可选的阈值设置的一个实施方案的例子。在这个实施方案中,阈值设置代表识别出的脸中的最大脸的某个百分比。因此,基于识别出的脸的尺寸来选择将被包括在第一感兴趣区域中的识别出的脸中的至少一张的过程可以以识别识别出的脸中的至少一张开始。在所示例子中,识别出的脸中的至少一张是脸504。
在一些实施方案中,可使用阈值滑块520来调节可选的阈值设置。在本例中,阈值滑块520在最大的脸504的尺寸的0%和100%之间移动。如所示,在本例中,阈值设置522被设置到70%。这意味着只有至少大到最大脸504的尺寸的70%的识别出的脸将包括在第一感兴趣区域中。因此在本例中,脸504和506将被包括在第一感兴趣区域中,且脸508、510、512和514将不被包括在第一感兴趣区域中。因为脸508、510、512和514不被包括在第一感兴趣区域中,因为它们比最大脸504的尺寸的70%小。因此在一些实施方案中,将额外的内容放置在脸508、510、512和514之上就可以了,因为它们不被包括在第一感兴趣区域中。也就是说,对于额外的内容放置,折衷是小于最大脸的尺寸的70%的任何脸都可以。
因此,在所示例子中,被选择为包括在第一感兴趣区域中的脸是识别出的脸中的最大脸(即,脸504)和仅仅不小于识别出的脸中的最大脸的某个百分比(即,70%)的识别出的脸(即,脸506)。基本上,如果它是满足阈值的脸,则那类似于在上面描述的场景中的活动,且它不应被额外的内容例如广告阻挡。但如果脸不满足阈值,例如也许脸仅仅是最大脸的尺寸的1/32,则将那个空间打开用于额外的内容例如广告的插入就可以了。
图5C示出具有识别出的第一感兴趣区域524的图像502。如所示,脸504(它们中的两个)和脸506(它们中的四个)被包括在第一感兴趣区域524中。也示出70%的示例阈值设置522。如可看到的,脸508(它们中的六个)、脸510(它们中的八个)、脸512(它们中的九个)和脸514(它们中的十一个)包括在第一感兴趣区域524中,因为它们比最大脸504的尺寸的70%小。
应充分理解,阈值设置522可被设置为任何值。也就是说,阈值设置522可被设置为从0%到100%的任何值。例如,如果阈值设置522被设置为50%而不是70%,则根据图5B,脸508(它们中的六个)也将包括在第一感兴趣区域524中。作为另一个例子,如果阈值设置522被设置为100%而不是70%,则只有将被包括在第一感兴趣区域524中的脸是脸504(它们中的两个),因为它们是相同的尺寸,是最大脸,且不小于识别出的脸中的最大脸的尺寸的100%。
也应充分理解,阈值设置522可基于任何度量,且不必是百分比。例如,阈值设置522可基于脸的直径、半径、周长等。或者阈值设置522可基于任何其它度量。
也应充分理解,可以用各种各样的方式设置和/或调节阈值设置522。在一些实施方案中,阈值设置522可由用户设置和/或调节。例如,阈值设置522可由用户手动地设置和/或调节。因此,在所示例子中,阈值设置522的某个百分比将由用户指定。在一些实施方案中,阈值设置522可由应用例如软件应用设置和/或调节。例如,阈值设置522可由应用自动设置和/或调节。阈值设置522的自动设置和/或调节可基于各种各样的条件、参数、变量、因子等。
在一些实施方案中,在第一感兴趣区域524被指定之后,可做出关于插入区域是否存在于图像502中的缺点,额外的内容可插入图像502中而不阻碍第一感兴趣区域524。在一些实施方案中,在第一感兴趣区域524之外的图像502上的任何区域可包括插入区域。例如在所示实施方案中,在不覆盖或阻碍第一感兴趣区域524的任何部分的视野的脸508、510、512和514上和周围的任何区域可包括插入区域。
在一些实施方案中,下一步骤是将额外的内容插入该插入区域内。图5D示出额外的内容插入图像502中的插入区域内的例子。具体地,在本例中,额外的内容包括“行动!运动服饰”的广告530。广告530放置在脸508、510、512和514中的一些之上,且不阻碍第一感兴趣区域524的任何部分的视野。也应充分理解,额外的内容可包括任何类型的内容而不仅仅广告。
在一些情景中,图像可能不包括插入区域。例如,如果第一感兴趣区域很大并占据图像的一大部分,则足够大的插入区域可能不存在于图像中。图6A和6B示出这样的例子。具体地,示出图像602。使用上面描述的方法和技术,分析图像602。使用脸识别技术或脸识别工艺来识别几张脸604、606、608和610。
在这个特定的图像602中,识别出的脸604、606、608和610在尺寸上相差并不大。因此,如果基于脸的尺寸来指定或规定第一感兴趣区域,则可能所有脸604、606、608和610可包括在第一感兴趣区域中。在一些实施方案中,这个可能性将取决于阈值设置。例如,在使用上面描述的可选阈值设置的实施方案中,如果阈值设置被设置为诸如50%的值,则所有脸604、606、608和610将包括在第一感兴趣区域中。这个因为所有脸606、608和610都至少大到最大脸604的尺寸的50%。也就是说,没有一个识别出的脸小于最大脸604的尺寸的50%。
图6B示出在这个特定的例子中在图像602中指定的第一感兴趣区域620。如所示,所有脸604(它们中的四个)、脸606(它们中的四个)、脸608(它们中的四个)和脸610(它们中的四个)都包括第一感兴趣区域620中。且如所示的,第一感兴趣区域620占据图像602中的大部分空间。因此,在这个特定的例子中,图像602不包括插入区域。因此,没有地方来插入额外的内容,这意味着没有一张脸被额外的内容掩盖或阻碍。
在上面的例子中,脸的尺寸用于确定哪个识别出的脸应被指定为第一感兴趣区域。在一些实施方案中,脸的焦点的数量或焦点的清晰度可以可选地或此外用于确定哪个识别出的脸应被指定为第一感兴趣区域。如上面提到的,在一些实施方案中,指定为第一感兴趣区域意味着这是观看者可能有兴趣看的区域,且所以该区域不应被将被插入的额外内容阻碍。认为观看者将可能更有兴趣看比较不清晰的脸更清晰的脸。还认为具有更清晰的焦点的脸可能是预期在图像中被捕获的主要主题。因此,将更清晰的脸指定为第一感兴趣区域意味着它们将不被将被插入的额外的内容例如一个或多个广告阻碍(或覆盖)。在一些实施方案中,上面讨论的可选的阈值设置可用于设置焦点的数量或焦点的清晰度,其使脸有资格包括在第一感兴趣区域中。因此在一些实施方案中,如果脸满足在焦点上的阈值水平,则那类似于在上面描述的场景中的活动,且它不应被额外的内容例如广告挡住。也就是说,在一些实施方案中,满足在焦点中的阈值水平的脸类似于在场景中的活动。
在一些实施方案中,图像502(图5A)和602(图6A)可每个包括静止照片或图片。在一些实施方案中,图像502和602可每个包括在内容的帧的序列中的一个帧。例如,图502和602可每个包括视频类型的内容的一个帧。在这样的实施方案中,可使用上面关于图5A-5D描述的技术来分析内容的帧的序列。
例如,在这样的实施方案中,识别图像中的一张或多张脸的步骤可包括识别在由帧的序列描绘的场景中的一张或多张脸。而且确定插入区域是否存在于图像(额外的内容可插入该图像中而不阻碍第一感兴趣区域)中的步骤可包括确定插入区域是否存在于场景中,额外的内容可插入该场景中而不阻碍第一感兴趣区域。
此外,在一些实施方案中,如果插入区域不存在于由帧的序列描述的场景中,则可确定当帧的序列被播放时区域是可用的时间的量。而且在一些实施方案中,可确定插入区域的尺寸。
参考图7,示出了根据本发明的另一实施方案操作的方法700的例子。在一些实施方案中,方法700还可用于确定待插入媒体中的额外的内容例如广告的位置和时间安排。
方法700在步骤702中开始,在步骤702中,内容的帧的序列被分析。这样的内容可包括任何类型的内容,例如电视节目、电影、视频、网页、游戏等或任何视频类型的内容。
在步骤704中,识别不应被阻碍观看的在由帧的序列描绘的场景中的第一感兴趣区域。在一些实施方案中,可通过使用脸识别技术来识别在场景中的一张或多张脸来进行这个识别。在一些实施方案中,识别场景中的脸的上述技术可用于识别第一感兴趣区域。在一些实施方案中,第一感兴趣区域的识别可以可选地或此外通过识别场景中的有活动的区域来进行。也就是说,在一些实施方案中,识别场景中的有活动的区域的上述技术可用于识别第一感兴趣区域。在一些实施方案中,识别场景中的没有活动的区域的上述技术可用于识别第一感兴趣区域。
在步骤706中,做出关于插入区域是否存在于场景中的确定,额外的内容可插入该场景中,而不阻碍第一感兴趣区。也就是说,类似于如上面描述的,在一些实施方案中,做出关于在场景中是否有在本文被称为插入区域的区域的确定,额外的内容可插入该区域中而不阻碍第一感兴趣区域的视野。如果这样的插入区域存在,则在一些实施方案中,额外的内容例如广告可插入该插入区域中,且这样的额外内容将不阻碍第一感兴趣区域的视野。
在步骤708中,做出关于插入区域是否可基于颜色分成两个或多个区的确定。也就是说,有时识别跨越通常具有不同的颜色的两个或多个区的插入区域。在这样的情景中,在一些实施方案中,将额外的内容插入那些区的仅仅一个中可能是优选的,使得额外的内容不覆盖或延伸到具有实质上不同的颜色的两个或多个区中。因此,在一些实施方案中,插入区域基于场景中的颜色被进一步分析并细分或分成一个或多个区、子区或类别。
现在将参考图8A、8B、8C、8D、8E、8F、8G和8H描述方法700的示例应用。具体地,图8A示出由内容的帧的序列描绘的场景802。如所示,场景802包括几张脸804和806。场景802还包括在脸后面的绿色多草的山810和在山之上的蓝色天空812。
根据一些实施方案,分析描绘场景802的内容的帧的序列。具体地,识别不应被阻碍观看的在场景802中的第一感兴趣区域。如上面提到的,在一些实施方案中,识别场景中的脸的上述技术可用于识别第一感兴趣区域。具体地,在本例中,一种或多种脸识别技术或脸识别工艺用于识别场景802中的一张或多张脸804和806。参考图8B,脸识别过程的结果是脸804和806被指定为第一感兴趣区域820。
接着,做出关于插入区域是否存在于场景802中的确定,额外的内容可插入该场景中而不阻碍第一感兴趣区域820。这个确定的结果是跨越绿色多草的山810和蓝色天空812的区域被识别为插入区域822。
接着做出关于插入区域822是否可基于颜色被分成两个或多个区的确定。在这个特定的例子中,插入区域822可分成两个这样的区。也就是说,绿色多草的山810的区域可形成插入区域822的第一区,且蓝色天空812的区域可形成插入区域822的第二区。这两个区的识别基于颜色,即,绿色山810和蓝色天空812。因此,如所示,插入区域822基于颜色分成两个区,即,形成第一区的绿色多草的山810的区域和形成第二区的蓝色天空812的区域。
认为插入的额外内容具有更好的外观,如果它不与具有不同颜色的区重叠。也就是说,在一些实施方案中,认为插入的额外内容具有更好的外观,如果它不横跨子区。例如,如果插入的额外内容包含在一个区内,则插入的额外内容的颜色和外观可更容易被选择,使得它与区充分混合。也就是说,额外的内容例如广告可被选择成使得额外的内容匹配子区的精美色彩方面。
接着,在一些实施方案中,额外的内容插入两个或多个区中的一个,使得额外的内容完全包含在两个或多个区中的那一个内。图8C示出额外的内容到场景802内的插入。具体地,在本例中,额外的内容包括插入第二区内的“蓝色天空蓝莓!”的广告830,第二区包括蓝色天空812的区域。如所示,广告830完全包含在蓝色天空812区内且不延伸出该区。
在一些实施方案中,缓冲区域可被维持在额外的内容和两个或多个区中的那一个的边缘之间。也就是说,额外的内容例如广告可放置成使得它停留在那个区的某个缓冲区域内。这样的缓冲区域可提供某个量的偏移,例如.25”、.5”、.75”、1”或任何其它量。缓冲区域是防止额外的内容变得太接近区的边缘的一种被限制的区域。例如,缓冲区域帮助防止广告太接近区的边缘。缓冲区域可被维持在额外的内容的所有侧和区的所有边缘之间。
如所示,在本例中,缓冲区域832被维持在广告830周围,使得它不变得太接近区的边缘。缓冲区域832可包括任何所选择的、选定的、预定的、可变的、动态的等尺寸或空间的量。缓冲区域832可包括区的水平边缘的值或设置以及区的垂直边缘的相同或不同的值或设置。
在一些实施方案中,至少部分地基于两个或多个区中的那个区的颜色来选择额外的内容。例如在所示实施方案中,广告830是“蓝色天空蓝莓!”。因为蓝色天空812区在颜色上是蓝色的,所以基于蓝色来选择广告“蓝色天空蓝莓!”,因为认为它可能提供有效的广告。也就是说,在蓝色背景上的蓝莓的想法可能吸引一些消费者。此外,在一些实施方案中,广告830本身可以在颜色上是蓝色的,或在它中有一些蓝色,或包括蓝色或与蓝色很好地相配的其它颜色的某些阴影。这样的颜色选择被认为帮助广告830与区很好地混合或融入,并使广告看起来在外观上更自然。
图8D示出另一示例实施方案,其中额外的内容插入两个或多个区中的一个,使得额外的内容完全包含在两个或多个区中的那一个内。具体地,在本例中,额外的内容包括插入第一区内的“最好品牌的青豆”的广告840,第一区包括绿色多草的山810的区域。如所示,广告840完全包含在绿色多草的山810区内且不延伸出该区。此外,如所示,缓冲区域842被维持在广告840周围,使得它不变得太接近区的边缘。如上面提到的,缓冲区域842可包括任何所选择的、选定的、预定的、可变的、动态的等尺寸或空间的量。此外,缓冲区域842可包括区的水平边缘的值或设置以及区的垂直边缘的相同或不同的值或设置。
在本例中,广告840是至少部分地基于区的绿色而选择的“最好品牌的青豆”。也就是说,因为绿色多草的山810区在颜色上是绿色的,所以基于绿色来选择广告“最好品牌的青豆”,因为认为它可能提供有效的广告。也就是说,在绿色背景上的青豆的想法可能吸引一些消费者。此外,在一些实施方案中,广告840本身可以在颜色上是绿色的,或在它中有一些绿色,或包括绿色或与绿色很好地相配的其它颜色的某些阴影。这样的颜色选择被认为帮助广告840与区很好地混合或融入,并使广告看起来在外观上更自然。
当摄像机四处移动且场景802的摄像机视野改变时,区的尺寸也改变。一个选择是保持额外的内容在区中是固定的。因此在一些实施方案中,额外的内容放置成使得它在场景中的两个或多个区的那一个中是固定的且不被允许在场景中移动。也就是说,当摄像机视野改变时,额外的内容不被允许浮动或移动。图8E示出场景802的这个特征的例子。如所示,摄像机视野移动到左边。广告840被固定或钉到绿色山腰810,且当摄像机移动时,广告840从屏幕消失。也就是说,广告840部分地移动出屏幕的右侧,因为广告840固定在绿色山810上。因此在这个实施方案中,广告840是固定的且不随着摄像机视野移动。
摄像机运动的另一选择是让额外的内容浮动,使得它通常停留在区的缓冲区域内。因此在一些实施方案中,额外的内容被放置,使得它被允许在场景中的两个或多个区的那一个内移动。也就是说,当摄像机视野改变时,额外的内容被允许浮动或移动。图8F示出场景802的这个特征的例子。如所示,将摄像机视野移动到左边与在图8E中的大约相同的量。这次广告840在场景中仍然是充分可见的,因为它也随着摄像机运动被移动或浮动。也就是说,在这个实施方案中,当摄像机视野移动时,广告840不移动出屏幕,因为广告被允许随着摄像机视野的运动而移动或浮动。
因为在这个实施方案中,广告840正移动,这样的运动在一些实施方案中也可包括维持在广告840和绿色多草山810区的边缘之间的期望缓冲区域842。期望缓冲区域842可被维持在整个广告840周围,使得它不变得太接近区的边缘。在一些实施方案中,缓冲区域842的尺寸被动态地调节以适应广告840随着摄像机视野的运动的运动。例如,缓冲区域842可被调节,使得广告840通常停留在区的中心内,但这并不是需要的。当摄像机移动时,广告840随着摄像机移动,使得广告840停留在山腰上。广告840可在区中保持位于中心或在缓冲区域内,使得当摄像机移动时观看者继续看到它。
而且在一些实施方案中摄像机运动的又一选择是最初固定额外的内容并然后让它浮动一点以赶上摄像机运动。认为这将得到观看者的注意,这可使插入的广告变得更有效。
如上面提到的,在一些实施方案中,缓冲区域可一直被维持在额外的内容的项目周围。例如,缓冲区域可被维持在额外的内容和区的水平边缘之间,且缓冲区域可被维持在额外的内容和区的垂直边缘之间。在一些实施方案中,缓冲区域的尺寸可被设置成使得额外的内容在区内位于中心。例如,额外的内容可在区内仅垂直地位于中心、或在区内仅水平地位于中心、在区内垂直和水平地位于中心。然而将充分理解,这样的居中并不是需要的。例如在一些实施方案中,额外的内容可被定位成较接近区的任何期望边缘。此外,在一些实施方案中,区在形状上可以不是矩形的或正方形的。因此,缓冲区域可被维持在额外的内容和具有任何形状的区的任何边缘之间。
图8G和8H示出水平和垂直缓冲区域的例子。具体地,场景802包括如上所述的第一感兴趣区域820、插入区域822、绿色多草的山810和蓝色天空812。然而在本例中,棕色树850位于绿色多草的山810上。棕色树850与包括绿色多草的山810的区域的第一区和包括蓝色天空812的区域的第二区重叠。棕色树850具有划分包括绿色多草的山810的区域的第一区并划分包括蓝色天空812的区域的第二区的效应。也就是说,树850具有将第一区划分成两个较小的区并将第二区划分成两个较小的区的效应。区被划分,因为如上面讨论的,区基于颜色被规定。因此,棕色树850划分绿色多草的山810,且棕色树850划分蓝色天空812。
图8H示出插入包括绿色多草的山810的区域的现在较小的第一区中的广告852。如所示,广告852完全包含在这个现在较小的区内且不延伸出那个区。此外,如所示,缓冲区域一直维持在广告852周围。缓冲区域可用于控制广告852到区的边缘多近。
具体地,在这个实施方案中,缓冲区域854被维持在广告852和区的垂直边缘之间。在本例中,区的垂直边缘包括在左侧上的棕色树850和在右侧上的插入区域822的右边缘。缓冲区域856也被维持在广告852和区的水平区域之间。在本例中,区的水平边缘包括在上侧上的绿色多草的山810的顶部和在下侧上的插入区域822的下边缘。
类似于如上面提到的,缓冲区域854和856可包括任何所选择的、选定的、预定的、可变的、动态的等尺寸或空间的量。在一些实施方案中,缓冲区域854和856不必有相同的设置或值,且它们可在一起或分开地被控制。此外,在一些实施方案中,垂直缓冲区域854的右组成部分和左组成部分不必有相同的设置或值,且它们可在一起或分开地被控制。类似地,在一些实施方案中,水平缓冲区域856的上组成部分和下组成部分不必有相同的设置或值,且它们可在一起或分开地被控制。在一些实施方案中,缓冲区域854和856由用户手动地控制和/或设置。在一些实施方案中,缓冲区域854和856由应用或程序自动控制和/或设置。
如上所述,在一些实施方案中,额外的内容被插入两个或多个区中的一个内,使得额外的内容完全包含在两个或多个区中的那一个内。然而应理解,这不是所有实施方案需要的。也就是说,在一些实施方案中,额外的内容不需要完全包含在两个或多个区中的那一个内并被允许延伸到、横跨和/或重叠于两个或多个区。
因此,上面描述了可用于确定将被插入媒体中的额外的内容例如广告的位置和时间安排的方法的各种实施方案。例如,在一些实施方案中,有人可拍摄包括内容的帧的序列的视频。根据上述方法中的一个或多个操作的工具可用于分析视频。在一些实施方案中,在视频中的一个帧或图像中或在由视频的帧的序列描绘的场景中识别第一感兴趣区域。可使用上面描述的脸识别技术和/或通过识别在场景中的具有如上所述的活动的区域来识别第一感兴趣区域。在一些实施方案中,第一感兴区域包括将不被阻碍观看或被额外的内容例如一个或多个广告的插入挡住的区域。
在一些实施方案中,在识别出第一感兴趣区域之后,然后在图像或场景中识别出插入区域,额外的内容可插入该图像或场景内,而不阻碍第一感兴趣区域。通过将额外的内容例如广告插入该插入区域内,第一感兴区域的视野不被额外的内容阻碍或挡住。因此在一些实施方案中,在视频中的图像或场景分成第一感兴趣区域和插入区域。插入区域打开用于接收插入的额外内容,例如一个或多个广告。以这种方式,额外的内容将不插入具有满足某个阈值的脸和/或有活动的区域内。因此在一些实施方案中,脸识别或检测可用于识别广告将不被插入的空间,其可能对一个或多个广告开放图像或场景的其余部分。
在一些实施方案中,插入区域被进一步分析以基于颜色确定它是否可分成两个或多个区。例如,可基于颜色细分在图像或场景中的空当以创建区。在一些实施方案中,额外的内容例如广告被放置成使得它完全在一个区内且不横跨不同的区。认为这样横跨不同的区将使额外的内容看起来不整洁。进一步认为额外的内容例如广告将看起来更自然,如果它整洁地被放置在一个颜色区内。因此在一些实施方案中,基于颜色来规定区,且可选择额外的内容例如广告,使得它匹配区的颜色以使它变得在美学上更令人愉快。
上述方法可应用于静止照片、图片和图像以及移动图像类型的内容,例如内容的帧的序列,例如在视频类型的内容、电影、电视、视频等中的。此外,在一些实施方案中,上述方法实时地操作。也就是说,例如在一些实施方案中,可为观看者播放视频内容的项目,且当内容正播放且观看者正观看时,识别第一感兴区域、识别插入区域、将插入区域分成区以及插入额外的内容的一个或多个上述步骤可实时地被执行,同时观看者正观看内容播放。因此,例如在一些实施方案中,当观看者正观看内容播放时,使用脸识别来确定第一感兴趣区域、确定插入区域、将插入区域分成区以及然后插入额外的内容的上述技术可实时地被执行。
相反,在一些实施方案中,一个或多个上述方法实时地操作。也就是说,例如在一些实施方案中,在为观看者播放内容之前,识别第一感兴区域、识别插入区域、将插入区域分成区以及插入额外的内容的一个或多个上述步骤可在内容的项目上被执行。或者作为另一可选方案,在一些实施方案中,一个或多个上述步骤可实时地被执行,且一个或一些步骤可实时地被执行。也就是说,例如在一些实施方案中,在为观看者播放内容之前,识别第一感兴区域、识别插入区域和将插入区域分成区的步骤可在内容的项目上被执行,且然后当观看者正看内容播放时,插入额外的内容例如广告的步骤可在内容上实时地执行。应理解,步骤的任何组合可非实时和实时地被执行。
在一些实施方案中,用户可使用任何类型的基于处理器的装置例如机顶盒、电缆盒、娱乐系统、游戏控制台、计算机、电视机等播放并观看内容。任何这样的设备可连接到外部显示器或具有集成或内置显示器。在一些实施方案中,这样的基于处理器的装置可接收并播放已或将通过上述方法和技术的一个或多个步骤被处理和/或修改的内容的项目。例如在一些实施方案中,这样的基于处理器的装置可接收并播放以前通过上述方法和技术的一个或多个步骤被处理和/或修改的内容的项目。这包括例子,其中至少一个或多个上述步骤被实时地执行,因为内容的项目以前通过上述方法和技术的一个或多个步骤以前被处理和/或修改。以前的处理和/或修改可由不同的基于处理器的装置执行,所述装置可包括任何类型的计算机、服务器、工作站、大型计算机、中央计算机等或可包括机顶盒、电缆盒、娱乐系统、游戏控制台、计算机、电视机等中的任一个或多个。或者,以前的处理和/或修改可由相同的基于处理器的装置执行。
作为另一个例子,在一些实施方案中,这样的基于处理器的装置可接收、处理和播放内容的项目。也就是说,基于处理器的装置根据上述方法和技术的一个或多个步骤实时地处理和/或修改内容的项目。在这样的情景中,在一些实施方案中,处理可使用机顶盒、电缆盒、娱乐系统、游戏控制台、计算机、电视机等中的任一个或多个而出现在观看者的家、办公室或其它地点中。
在一些实施方案中,当为一个或多个观看者播放时,内容的一部分或项目可与内容的第二部分或项目成对。例如,内容的第一部分或项目(其中使用上述技术插入额外的内容例如广告)可与内容的第二或主要部分或项目成对,且然后为一个或多个观看者顺序地播放内容的这两个部分。
图9示出根据本发明的实施方案的这样的成对的例子。具体地,示出时间轴902。内容904的第一部分或项目后面是内容906的第二部分或项目。内容904的第一部分或项目可包括内容的帧的第一序列,而内容906的第二部分或项目可包括内容的帧的第二序列。在一些实施方式中,内容904的第一部分或项目和内容906的第二部分或项目可以是内容的同一项目的部分,或它们可被认为是内容的两个单独项目。作为例子,内容904的第一部分或项目和内容906的第二部分或项目可包括一个或多个视频、电影、电视节目等。在一些实施方案中,内容906的第二部分或项目包括主要内容的项目,而内容904的第一部分或项目包括通常较短的视频。
如所示,使用上述技术来修改内容904的第一部分以将额外的内容908插入其中。例如在一些实施方案中,可在内容904的第一部分或项目中识别第一感兴趣区域,并接着识别插入区域,并接着将额外的内容908插入其中。在一些实施方案中,额外的内容908可包括一个或多个广告。当内容904和906的部分被顺序地播放时,帧904的第一序列播放和显示插入的额外内容908,且然后帧906的第二序列播放。当被播放时,内容904和906的部分以及插入的额外内容908显示在用户的显示屏上。这样的实施方案的示例情景是模型,其中具有使用上述技术插入其中的广告的视频在主要内容例如电影、TV节目、记录片、音乐视频、新闻节目等之前被播放。
因此,为了使用户观看内容906的第二部分或项目,他或她必须首先观看内容904的第一部分或项目,这包括观看插入的额外内容908,其可包括广告。也就是说,用户不访问内容906的第二部分或项目,直到他或她首先观看到内容904的第一部分或项目为止。以这种方式,在用户访问内容906的第二部分或项目之前,可播放以额外内容908的形式的广告,内容906的第二部分或项目在一些实施方案中可包括主要内容的项目。
在一些实施方案中,在帧904的第一序列的播放期间给用户提供选择以跳过插入的额外内容908。在一些实施方案中,跳过选择只跳过插入的额外内容908,并接着在播放帧906的第二序列之前继续播放帧904的第一序列。在一些实施方案中,跳过选择跳过插入的额外内容908以及帧904的第一序列的其余部分,并在帧906的第二序列开始时再次开始播放。也就是说,跳过选择向前跳过帧906的第二序列。在任一实施方案中,跳过选择至少跳过插入的额外内容908。因此,跳过插入的额外内容908应意味着只跳过插入的额外内容908并接着继续播放帧904的第一序列的其余部分,和/或它应意味着向前跳到帧906的第二序列。
在一些实施方案中,跳过插入的额外内容908的选择在一定量的消耗时间之后被提供给用户。因此,用户需要观看插入的额外内容908至少一定量的消耗时间。这样的实施方案的示例情景是模型,其中在主要内容之前播放具有使用上述技术插入其中的广告的视频,且其中给用户提供在一定量的消耗时间之后跳过广告的选择。这个量的消耗时间可包括任何量的时间。
在一些实施方案中,跳过插入的额外内容908的选择响应于用户点击在用户屏幕上的某个东西而被提供给用户。例如,在一些实施方案中,用户可能需要点击插入的额外内容908,当它被显示以便触发跳过它的选择时。或者在一些实施方案中,用户可能需要点击其它东西以便触发跳过插入的额外内容908的选择。这样的实施方案的示例情景是模型,其中在主要内容之前播放具有使用上述技术插入其中的广告的视频,且其中给用户提供在点击某个东西例如广告(当它显示在用户的屏幕上时)之后跳过广告的选择。也就是说,用户点击某个地方以直接进入主要内容。用户不必点击广告,用户只须点击某个地方。
在一些实施方案中,当内容906的第二部分或项目被缓存时,内容904的第一部分或项目可被播放。此外,在一些实施方案中,跳过插入的额外内容908的选择不提供给用户,直到内容906的第二部分或项目的缓冲区在适当的水平处。因此,如果用户具有慢带宽,他或她可能不能够跳过额外的内容908。也就是说,包括额外内容908的内容904的整个第一部分或项目可在缓冲区在适当的水平处时与内容906的第二部分或项目一起播放。相反,如果用户具有快带宽,则他或她将可能能够更快地跳过额外的内容908。
因此,在一些实施方案中,跳过插入的额外内容908的选择被延迟且不立刻提供给用户。例如在一些实施方案中,基于可包括主要内容的内容906的第二部分或项目的缓冲区状态或缓冲进展将跳过插入的额外内容908的选择提供给用户。在一些实施方案中,基于业务条件或商业条件将跳过插入的额外内容908的选择提供给用户。例如,如果插入的额外内容908包括广告且业务条件暗示广告的观看应增加,则在提供跳过插入的额外内容908的选择中的延迟可增加,以便迫使观看者观看更多的广告。
在一些实施方案中,调节在给用户提供跳过插入的额外内容908的选择中的延迟的量可帮助广告客户测量消费者将容忍多少广告。
在一些实施方案中,额外的内容908替代地插入内容906的第二部分或项目而不是内容904的第一部分或项目中,内容906的第二部分或项目包括主要内容。在一些实施方案中,内容904的第一部分或项目本身可包括额外的广告,且仍然包括跳过部分904的选择。如果用户运用要跳过的这样的选择,则内容906的第二部分或项目将播放,这将包括播放插入的额外内容908,其可包括广告。
如上面提到的,在一些实施方案中,当用户正观看内容播放时,识别第一感兴区域、识别插入区域以及插入额外的内容的一个或多个上述步骤可实时地被执行。在一些实施方案中,这也包括当用户正观看内容播放时实时地提供跳过的选择。
在一些实施方案中,可非实时地执行一个或多个这样的步骤。例如,在为用户播放内容之前,识别第一感兴区域、识别插入区域以及插入额外的内容的一个或多个上述步骤可被执行。例如,可播放帧的第一序列,其中帧的第一序列包括被插入由帧的第一序列中的至少一些帧描绘的场景的广告。然后,可在帧的第一序列之后播放帧的第二序列,且也可提供跳过选择。在一些实施方案中,在播放帧的第一和第二序列之前,通过一个过程将广告插入帧的第一序列中的场景内,该过程可包括使用脸识别技术识别场景中的一张或多张脸,将识别出的脸中的至少一张共同指定为第一感兴趣区域,以及将广告插入场景中的不阻碍第一感兴趣区域的插入区域内。
可在很多不同类型的系统、计算机、图形工作站、电视机、机顶盒、电缆盒、娱乐系统、游戏控制台、视频游戏系统、DVD播放器、DVR、媒体播放器、家用服务器、视频游戏控制台等和任何其它类型的基于处理器的系统或装置上利用、实现和/或运行本文描述的方法和技术。参考图10,示出了可用于任何这样的实现的系统1000。系统1000的一个或多个部件可用于实现上面提到的任何系统。然而,系统1000或其任何部分的使用不一定是需要的。
作为例子,系统1000可包括但不需要包括中央处理单元(CPU)1002、图形处理单元(GPU)1004、数字微分分析(DDA)硬件1006、随机存取存储器(RAM)1008和大容量存储单元1010例如硬盘驱动器。系统1000可耦合到显示器1012或与显示器1012集成,例如任何类型的显示器,包括本文提到的任何类型的显示器。系统1000包括基于处理器的系统和/或基于处理器的装置的例子。不是系统1000的所有所示部件都是这样的基于处理器的系统和/或基于处理器的装置所需的。
CPU 1002和/或GPU 1004可用于执行或帮助执行本文描述的方法和技术的步骤,且各种程序内容、图像、视频等可在显示器1012上再现。可移动存储介质1014可以可选地与大容量存储单元1010一起使用,大容量存储单元1010可用于存储实现本文描述的方法和技术的代码。然而,任何存储设备例如RAM 1008或大容量存储单元1010可用于存储这样的代码。此外,任何存储设备例如RAM 1008或大容量存储单元1010可用于存储上面描述的数据库。系统1000的全部或部分可体现在任何类型的设备例如计算机、工作站、电视机、视频游戏控制台或系统或任何其它类型的设备(包括本文提到的任何类型的设备)中。
输入设备(未示出)也可被包括并可包括任何类型的输入设备或输入技术或方法。例如,输入设备可包括游戏控制器、游戏板、操纵杆、鼠标、读出笔或其它输入设备和/或输入技术。输入设备可以是无线或有线的,例如它可以无线地耦合到系统1000或包括有线连接。
大容量存储单元1010可包括或包含任何类型的计算机可读存储器或记录介质或媒介。计算机可读存储器或记录介质或媒介可固定在大容量存储单元1010中,或大容量存储单元1010可以可选地包括可移动存储介质1014,例如数字视频磁盘(DVD)、蓝光盘、光盘(CD)、USB存储设备、软盘或其它介质。作为例子,大容量存储单元1010可包括磁盘驱动器、硬盘驱动器、闪存设备、USB存储设备、蓝光磁盘驱动器、DVD驱动器、CD驱动器、软盘驱动器等。大容量存储单元1010或可移动存储介质1014可用于存储实现本文描述的方法和技术的代码或宏。
因此,可移动存储介质1014可以可选地与大容量存储单元1010一起使用,大容量存储单元1010可用于存储实现本文描述的方法和技术的程序或计算机代码,例如用于运行上述方法和技术的程序代码。然而,任何存储设备例如RAM 1008或大容量存储单元1010可用于存储这样的代码。例如,任何这样的存储设备可用作有形非临时计算机可读存储介质,其用于存储或体现用于使控制台、系统、计算机、客户端、服务器或基于处理器的装置或系统执行或实施本文描述的任何方法的步骤、代码和/或技术的计算机程序或软件应用。此外,任何存储设备例如RAM 1008或大容量存储单元1010可用于存储任何所需的数据库。
在一些实施方案中,可在由基于处理器的装置或系统可执行的一个或多个计算机程序或软件应用中实现上面描述的一个或多个实施方案、方法、方式和/或技术。作为例子,这样的基于处理器的系统可包括基于处理器的装置或系统1000或计算机、娱乐系统、游戏控制台、图形工作站、服务器、客户端、便携式设备、板状设备等。这样的计算机程序可用于执行上述方法和/或技术的各种步骤和/或特征。也就是说,计算机程序可适合于使或配置基于处理器的装置或系统执行和实现上面描述的功能。例如,这样的计算机程序可用于实现上述方法、步骤、技术或特征的任何实施方案。作为另一个例子,这样的计算机程序可用于实现使用一个或多个上述实施方案、方法、方式和/或技术的任何类型的工具或类似的设施。在一些实施方案中,一个或多个这样的计算机程序可包括计算机游戏、视频游戏、角色扮演游戏(RPG)、其它计算机模拟或系统软件例如操作系统、BIOS、宏或其它设施。在一些实施方案中,在计算机程序内的或没有计算机程序的程序代码宏、模块、回路、子例程、调用等可用于执行上述方法和/或技术的各种步骤和/或特征。在一些实施方案中,计算机程序可存储或体现在计算机可读存储器或记录介质或媒介例如本文描述的任何计算机可读存储器或记录介质或媒介上。
因此,在一些实施方案中,本发明提供了包括用于体现用于输入到计算机的计算机程序的介质和体现在介质中的计算机程序的介质,计算机程序用于使计算机执行或实施包括在本文描述的任一个或多个实施方案、方法、方式和/或技术中涉及的任一个或多个步骤的步骤。例如,在一些实施方案中,本发明提供存储适合于使基于处理器的装置或系统执行步骤的一个或多个计算机程序的一个或多个非临时计算机可读存储介质,步骤包括:分析图像;使用脸识别技术识别图像中的一张或多张脸;将至少一个所识别的脸共同指定为第一感兴趣区域;以及确定插入区域是否存在于图像中,额外的内容可插入图像中而不阻碍第一感兴趣区域。
在一些实施方案中,本发明提供存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的一个或多个非临时计算机可读存储介质,步骤包括:分析内容的帧的序列;识别由帧的序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域;以及确定插入区域是否可基于颜色被分成两个或多个区。
在一些实施方案中,本发明提供存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的一个或多个非临时计算机可读存储介质,步骤包括:分析内容的帧的第一序列;使用脸识别技术识别由帧的第一序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域。
在一些实施方案中,本发明提供存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的一个或多个非临时计算机可读存储介质,步骤包括:播放帧的第一序列,其中帧的第一序列包括被插入由帧的第一序列中的至少一些帧描绘的场景内的广告;以及播放在帧的第一序列之后的帧的第二序列;其中广告通过一个过程被插入帧的第一序列中的场景内,该过程可包括:使用脸识别技术识别场景中的一张或多张脸;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及将广告插入场景中的不阻碍第一感兴趣区域的插入区域内。
在一些实施方案中,本发明提供配置成执行包括上述方法、方式和/或技术的任一个或多个步骤的步骤的基于处理器的系统或基于处理器的装置。例如,在一些实施方案中,本发明提供配置成执行步骤的基于处理器的装置,所述步骤包括:分析图像;使用脸识别技术识别图像中的一张或多张脸;将至少一个所识别的脸共同指定为第一感兴趣区域;以及确定插入区域是否存在于图像中,额外的内容可插入图像中而不阻碍第一感兴趣区域。
在一些实施方案中,本发明提供配置成执行步骤的基于处理器的装置,所述步骤包括:分析内容的帧的序列;识别由帧的序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域;以及确定插入区域是否可基于颜色被分成两个或多个区。
在一些实施方案中,本发明提供配置成执行步骤的基于处理器的装置,所述步骤包括:分析内容的帧的第一序列;使用脸识别技术识别由帧的第一序列描绘的在场景中的一张或多张脸;将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及确定插入区域是否存在于场景中,额外的内容可插入场景中而不阻碍第一感兴趣区域。
虽然在本文公开的发明借助于其特定的实施方案和应用被描述,很多修改和变化可由本领域中的技术人员做出而不偏离在权利要求中阐述的本发明的范围。

Claims (36)

1.一种存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的非临时计算机可读存储介质,所述步骤包括:
分析图像;
使用脸识别技术识别所述图像中的一张或多张脸;
将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及
确定插入区域是否存在于所述图像中,额外的内容可插入所述图像中而不阻碍所述第一感兴趣区域。
2.如权利要求1所述的非临时计算机可读存储介质,其中将识别出的脸中的至少一张共同指定为第一感兴趣区域的步骤包括:
确定所述识别出的脸中的每个的尺寸;以及
基于所述识别出的脸的尺寸来选择将被包括在所述第一感兴趣区域中的所述识别出的脸中的所述至少一个。
3.如权利要求2所述的非临时计算机可读存储介质,其中基于所述识别出的脸的尺寸来选择将被包括在所述第一感兴趣区域中的所述识别出的脸中的所述至少一个包括:
识别所述识别出的脸中的最大脸;
选择所述识别出的脸中的所述最大脸和仅仅不小于所述识别出的脸中的所述最大脸的某个百分比的所述识别出的脸中的脸。
4.如权利要求3所述的非临时计算机可读存储介质,其中所述某个百分比由用户指定。
5.如权利要求1-4中的任一项所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
将所述额外的内容插入所述插入区域内。
6.如权利要求1-4中的任一项所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
确定所述插入区域是否可基于颜色被分成两个或多个区。
7.如权利要求6所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
基于颜色将所述插入区域分成两个或多个区;以及
将所述额外的内容插入所述两个或多个区中的一个内,使得所述额外的内容完全包含在所述两个或多个区中的所述一个内。
8.如权利要求1-4中的任一项所述的非临时计算机可读存储介质,其中所述图像包括在内容的帧的序列中的一个帧。
9.如权利要求8所述的非临时计算机可读存储介质,其中:
识别所述图像中的一张或多张脸包括识别在由帧的所述序列描绘的场景中的一张或多张脸;以及
确定插入区域是否存在于所述图像中,额外的内容可插入所述图像中而不阻碍所述第一感兴趣区域包括确定插入区域是否存在于所述场景中,额外的内容可插入所述场景中而不阻碍所述第一感兴趣区域。
10.如权利要求9所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
确定当帧的所述序列被播放时所述插入区域是可用的时间的量。
11.如权利要求9所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
确定所述插入区域的尺寸。
12.一种存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的非临时计算机可读存储介质,所述步骤包括:
分析内容的帧的序列;
识别由帧的所述序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;
确定插入区域是否存在于所述场景中,额外的内容可插入所述场景中而不阻碍所述第一感兴趣区域;以及
确定插入区域是否可基于颜色被分成两个或多个区。
13.如权利要求12所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
基于颜色将所述插入区域分成两个或多个区;以及
将所述额外的内容插入所述两个或多个区中的一个内,使得所述额外的内容完全包含在所述两个或多个区中的所述一个内。
14.如权利要求13所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
至少部分地基于所述两个或多个区中的所述一个的颜色来选择所述额外的内容。
15.如权利要求13-14中的任一项所述的非临时计算机可读存储介质,其中将所述额外的内容插入所述两个或多个区中的一个内使得所述额外的内容完全包含在所述两个或多个区中的所述一个内包括:
维持在所述额外的内容和所述两个或多个区中的所述一个的边缘之间的缓冲区域。
16.如权利要求13-14中的任一项所述的非临时计算机可读存储介质,其中将所述额外的内容插入所述两个或多个区中的一个内使得所述额外的内容完全包含在所述两个或多个区中的所述一个内包括:
放置所述额外的内容,使得所述额外的内容被固定在所述场景中的所述两个或多个区中的所述一个中且不被允许在所述场景中移动。
17.如权利要求13-14中的任一项所述的非临时计算机可读存储介质,其中将所述额外的内容插入所述两个或多个区中的一个内使得所述额外的内容完全包含在所述两个或多个区中的所述一个内包括:
放置所述额外的内容,使得所述额外的内容被允许在所述场景中的所述两个或多个区中的所述一个内移动。
18.如权利要求12-14中的任一项所述的非临时计算机可读存储介质,其中识别由帧的所述序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域包括:
使用脸识别技术来识别所述场景中的一张或多张脸。
19.如权利要求12-14中的任一项所述的非临时计算机可读存储介质,其中识别由帧的所述序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域包括:
识别在所述场景中的有活动的区域。
20.一种方法,包括:
分析内容的帧的第一序列;
使用脸识别技术识别由帧的所述第一序列描绘的在场景中的一张或多张脸;
将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及
确定插入区域是否存在于所述场景中,额外的内容可插入所述场景中而不阻碍所述第一感兴趣区域。
21.如权利要求20所述的方法,还包括:
将所述额外的内容插入在由帧的所述第一序列描绘的场景中的所述插入区域。
22.如权利要求21所述的方法,其中所述内容还包括在帧的所述第一序列之后的帧的第二序列。
23.如权利要求22所述的方法,还包括:
播放所述内容,使得帧的所述第一序列播放并显示插入的额外内容,且然后帧的所述第二序列播放。
24.如权利要求23所述的方法,其中播放所述内容还包括:
在帧的所述第一序列期间向用户提供选择跳过所述插入的额外内容的选择。
25.如权利要求24所述的方法,其中跳过所述插入的额外内容的所述选择在一定量的消耗时间之后被提供给所述用户。
26.如权利要求24所述的方法,其中跳过所述插入的额外内容的所述选择响应于所述用户点击所述用户的屏幕上的某个东西而被提供给所述用户。
27.一种接收并播放由权利要求20-26中的任一项的方法处理的内容的基于处理器的装置。
28.如权利要求27所述的基于处理器的装置,其中所述基于处理器的装置包括机顶盒、电缆盒、娱乐系统、游戏控制台、计算机、电视机中的一个或多个。
29.一种方法,包括:
分析内容的帧的序列;
识别由帧的序列描绘的在场景中的不应被阻碍观看的第一感兴趣区域;
确定插入区域是否存在于所述场景中,额外的内容可插入所述场景中而不阻碍所述第一感兴趣区域;以及
确定所述插入区域是否可基于颜色被分成两个或多个区。
30.如权利要求29所述的方法,还包括:
基于颜色将所述插入区域分成两个或多个区;以及
将所述额外的内容插入所述两个或多个区中的一个内,使得所述额外的内容完全包含在所述两个或多个区中的所述一个内。
31.一种接收并播放由权利要求29或30的方法处理的内容的基于处理器的装置。
32.如权利要求31所述的基于处理器的装置,其中所述基于处理器的装置包括机顶盒、电缆盒、娱乐系统、游戏控制台、计算机、电视机中的一个或多个。
33.一种存储适合于使基于处理器的系统执行步骤的一个或多个计算机程序的非临时计算机可读存储介质,所述步骤包括:
播放帧的第一序列,其中帧的所述第一序列包括被插入由帧的所述第一序列中的至少一些帧描绘的场景内的广告;以及
播放在帧的所述第一序列之后的帧的第二序列;
其中所述广告通过一个过程被插入帧的所述第一序列中的所述场景内,所述过程包括,
使用脸识别技术识别所述场景中的一张或多张脸;
将识别出的脸中的至少一张共同指定为第一感兴趣区域;以及
将所述广告插入所述场景中的不阻碍第一感兴趣区域的插入区域内。
34.如权利要求33所述的非临时计算机可读存储介质,其中所述一个或多个计算机程序还适合于使所述基于处理器的系统执行步骤,所述步骤包括:
在帧的所述第一序列期间向用户提供选择跳过所述广告的选择。
35.如权利要求34所述的非临时计算机可读存储介质,其中跳过所述广告的所述选择在一定量的消耗时间之后被提供给所述用户。
36.如权利要求34或35所述的非临时计算机可读存储介质,其中跳过所述广告的所述选择响应于所述用户点击所述用户的屏幕上的某个东西而被提供给所述用户。
CN201510054926.3A 2014-02-07 2015-02-03 确定广告和媒体中的其它插入物的位置和时间安排的方案 Pending CN104837060A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711402792.5A CN108093271A (zh) 2014-02-07 2015-02-03 确定广告和媒体中的其它插入物的位置和时间安排的方案

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/175,996 US8988609B2 (en) 2007-03-22 2014-02-07 Scheme for determining the locations and timing of advertisements and other insertions in media
US14/175,996 2014-02-07

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711402792.5A Division CN108093271A (zh) 2014-02-07 2015-02-03 确定广告和媒体中的其它插入物的位置和时间安排的方案

Publications (1)

Publication Number Publication Date
CN104837060A true CN104837060A (zh) 2015-08-12

Family

ID=53778333

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510054926.3A Pending CN104837060A (zh) 2014-02-07 2015-02-03 确定广告和媒体中的其它插入物的位置和时间安排的方案
CN201711402792.5A Pending CN108093271A (zh) 2014-02-07 2015-02-03 确定广告和媒体中的其它插入物的位置和时间安排的方案

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711402792.5A Pending CN108093271A (zh) 2014-02-07 2015-02-03 确定广告和媒体中的其它插入物的位置和时间安排的方案

Country Status (6)

Country Link
EP (3) EP3103258B1 (zh)
JP (3) JP2017510167A (zh)
CN (2) CN104837060A (zh)
AU (1) AU2015200290B2 (zh)
CA (1) CA2879235C (zh)
WO (1) WO2015119749A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117463A (zh) * 2015-08-24 2015-12-02 北京旷视科技有限公司 信息处理方法和信息处理装置
CN106233742A (zh) * 2014-08-26 2016-12-14 松下知识产权经营株式会社 显示控制装置以及显示控制方法
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
CN108419115A (zh) * 2018-02-13 2018-08-17 杭州炫映科技有限公司 一种广告植入方法
CN110169075A (zh) * 2017-01-09 2019-08-23 国际商业机器公司 在直播中智能插入次要内容
CN110225389A (zh) * 2019-06-20 2019-09-10 北京小度互娱科技有限公司 在视频中插入广告的方法,装置和介质
CN110503930A (zh) * 2019-07-05 2019-11-26 太仓秦风广告传媒有限公司 一种与交通信号灯联动的电子广告牌显示方法及其系统
CN111667323A (zh) * 2020-06-30 2020-09-15 成都新潮传媒集团有限公司 一种广告点位的余量调度方法、装置及计算机设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3556101B1 (en) 2016-12-13 2022-07-20 Rovi Guides, Inc. Systems and methods for minimizing obstruction of a media asset by an overlay by predicting a path of movement of an object of interest of the media asset and avoiding placement of the overlay in the path of movement
WO2019125474A1 (en) * 2017-12-21 2019-06-27 Rovi Guides, Inc. Systems and method for dynamic insertion of advertisements
JP7189779B2 (ja) * 2019-01-11 2022-12-14 ヤフー株式会社 決定装置、決定方法、決定プログラム
CN110942349B (zh) * 2019-11-28 2023-09-01 湖南快乐阳光互动娱乐传媒有限公司 一种广告植入方法及系统
CN110996121A (zh) * 2019-12-11 2020-04-10 北京市商汤科技开发有限公司 信息处理方法及装置、电子设备和存储介质
CN115280349A (zh) * 2020-03-09 2022-11-01 索尼集团公司 图像处理装置、图像处理方法和程序
JP7367187B2 (ja) * 2020-10-30 2023-10-23 グーグル エルエルシー 非遮蔽ビデオオーバーレイ
CN113313791B (zh) * 2021-07-30 2021-10-01 深圳市知小兵科技有限公司 互联网游戏的图像处理方法及相关设备
WO2024018166A1 (en) * 2022-07-22 2024-01-25 Blackbird Plc Computer-implemented methods of blurring a digital image; computer terminals and computer program products

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196997A (zh) * 2007-12-29 2008-06-11 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法
CN101196995A (zh) * 2007-12-27 2008-06-11 北京中星微电子有限公司 图像中最大人脸的检测方法
CN101641873A (zh) * 2007-03-22 2010-02-03 美国索尼电脑娱乐公司 用于确定媒体中的广告和其他插入物的位置和时序的方案
US20130091519A1 (en) * 2006-11-23 2013-04-11 Mirriad Limited Processing and apparatus for advertising component placement

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
NZ271237A (en) * 1993-10-27 1996-09-25 Princeton Video Image Inc Electronic billboard insertion of images into broadcast video stream
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
JPH07334648A (ja) * 1994-06-10 1995-12-22 Canon Inc 画像処理方法及びその装置
US8574074B2 (en) * 2005-09-30 2013-11-05 Sony Computer Entertainment America Llc Advertising impression determination
JPH1026967A (ja) * 1996-07-12 1998-01-27 Toshiba Corp 画像処理装置
JP2001043371A (ja) * 1999-07-29 2001-02-16 Canon Inc 画像処理方法、画像処理装置及び記憶媒体
JP2001357300A (ja) * 2000-06-12 2001-12-26 Sony Corp 映像コンテンツ提供方法、映像コンテンツ提供システム、映像コンテンツ提供装置、映像コンテンツを提供するプログラムを格納したプログラム格納媒体、広告映像提供装置、広告映像を提供するプログラムを格納したプログラム格納媒体、映像コンテンツ再生装置、映像コンテンツを再生するプログラムを格納したプログラム格納媒体、広告料集計システム、広告料集計方法及び広告料を集計するプログラムを格納したプログラム格納媒体
JP2002032590A (ja) * 2000-06-22 2002-01-31 Internatl Business Mach Corp <Ibm> 広告方法、広告システム、広告枠の取引方法、広告枠の取引システムおよび記録媒体
JP3667217B2 (ja) * 2000-09-01 2005-07-06 日本電信電話株式会社 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体
JP2003101949A (ja) * 2001-09-20 2003-04-04 Matsushita Electric Ind Co Ltd 放送受信機およびコンテンツを放送する方法
JP3537800B2 (ja) * 2001-11-19 2004-06-14 スターコラボレーション株式会社 デジタルコンテンツの再生管理方法、コンテンツ再生装置、広告コンテンツ管理システム及びコンピュータプログラム
US7116342B2 (en) * 2003-07-03 2006-10-03 Sportsmedia Technology Corporation System and method for inserting content into an image sequence
US7979877B2 (en) * 2003-12-23 2011-07-12 Intellocity Usa Inc. Advertising methods for advertising time slots and embedded objects
US20060026059A1 (en) * 2004-07-30 2006-02-02 Grosz Aryk E Advertising method for digitally rented movies
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP4375289B2 (ja) * 2005-06-27 2009-12-02 セイコーエプソン株式会社 コメントレイアウト装置
US20070061838A1 (en) * 2005-09-12 2007-03-15 I7 Corp Methods and systems for displaying audience targeted information
US8549554B2 (en) * 2006-03-07 2013-10-01 Sony Computer Entertainment America Llc Dynamic replacement of cinematic stage props in program content
JP2007251273A (ja) * 2006-03-13 2007-09-27 Oki Electric Ind Co Ltd 画像処理装置,画像伝送システムおよび画像処理方法
US20080033801A1 (en) * 2006-07-14 2008-02-07 Vulano Group, Inc. System for dynamic personalized object placement in a multi-media program
US20080152300A1 (en) * 2006-12-22 2008-06-26 Guideworks, Llc Systems and methods for inserting advertisements during commercial skip
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
US8849100B2 (en) * 2007-04-04 2014-09-30 Visible World, Inc. Systems and methods for modifying commercials
JP2008306236A (ja) * 2007-06-05 2008-12-18 Sony Corp 画像表示装置、画像表示方法、画像表示方法のプログラム及び画像表示方法のプログラムを記録した記録媒体
GB0809631D0 (en) * 2008-05-28 2008-07-02 Mirriad Ltd Zonesense
CN101621636B (zh) * 2008-06-30 2011-04-20 北京大学 基于视觉注意力模型的广告标志自动插入和变换方法及系统
JP5127628B2 (ja) * 2008-08-08 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法
US8752087B2 (en) * 2008-11-07 2014-06-10 At&T Intellectual Property I, L.P. System and method for dynamically constructing personalized contextual video programs
KR100999056B1 (ko) * 2009-10-30 2010-12-08 (주)올라웍스 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP5339631B2 (ja) * 2010-03-16 2013-11-13 Kddi株式会社 ディスプレイを有するデジタル写真表示装置、システム及びプログラム
US9473826B2 (en) * 2010-04-29 2016-10-18 Vdopia Inc. Method and apparatus for insertion of advertising in a live video stream
JP5465620B2 (ja) * 2010-06-25 2014-04-09 Kddi株式会社 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
JP5567942B2 (ja) * 2010-08-30 2014-08-06 Kddi株式会社 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
JP2012138648A (ja) * 2010-12-24 2012-07-19 Nikon Corp 画像処理装置及び画像処理プログラム
JP2013092856A (ja) * 2011-10-25 2013-05-16 Sony Corp 画像処理装置およびプログラム
JP5867133B2 (ja) * 2012-02-10 2016-02-24 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN103297811A (zh) * 2012-02-24 2013-09-11 北京明日时尚信息技术有限公司 一种智能嵌入式视频广告的实现方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130091519A1 (en) * 2006-11-23 2013-04-11 Mirriad Limited Processing and apparatus for advertising component placement
CN101641873A (zh) * 2007-03-22 2010-02-03 美国索尼电脑娱乐公司 用于确定媒体中的广告和其他插入物的位置和时序的方案
CN101196995A (zh) * 2007-12-27 2008-06-11 北京中星微电子有限公司 图像中最大人脸的检测方法
CN101196997A (zh) * 2007-12-29 2008-06-11 北京中星微电子有限公司 图像中最大人脸的跟踪装置和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233742A (zh) * 2014-08-26 2016-12-14 松下知识产权经营株式会社 显示控制装置以及显示控制方法
CN106233742B (zh) * 2014-08-26 2019-07-09 松下知识产权经营株式会社 显示控制装置、显示控制方法以及记录介质
CN105117463A (zh) * 2015-08-24 2015-12-02 北京旷视科技有限公司 信息处理方法和信息处理装置
CN105117463B (zh) * 2015-08-24 2019-08-06 北京旷视科技有限公司 信息处理方法和信息处理装置
US10679252B2 (en) 2015-08-24 2020-06-09 Beijing Kuangshi Technology Co., Ltd. Information processing method and information processing apparatus
WO2018033156A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 视频图像的处理方法、装置和电子设备
CN110169075A (zh) * 2017-01-09 2019-08-23 国际商业机器公司 在直播中智能插入次要内容
CN110169075B (zh) * 2017-01-09 2021-06-25 国际商业机器公司 在直播中智能插入次要内容
CN108419115A (zh) * 2018-02-13 2018-08-17 杭州炫映科技有限公司 一种广告植入方法
CN110225389A (zh) * 2019-06-20 2019-09-10 北京小度互娱科技有限公司 在视频中插入广告的方法,装置和介质
CN110503930A (zh) * 2019-07-05 2019-11-26 太仓秦风广告传媒有限公司 一种与交通信号灯联动的电子广告牌显示方法及其系统
CN111667323A (zh) * 2020-06-30 2020-09-15 成都新潮传媒集团有限公司 一种广告点位的余量调度方法、装置及计算机设备

Also Published As

Publication number Publication date
AU2015200290B2 (en) 2016-10-27
CA2879235C (en) 2017-11-14
JP2021100263A (ja) 2021-07-01
EP3745712B1 (en) 2024-03-06
AU2015200290A1 (en) 2015-08-27
EP3236655A1 (en) 2017-10-25
EP3103258A4 (en) 2017-09-06
WO2015119749A1 (en) 2015-08-13
EP3103258B1 (en) 2020-07-15
CA2879235A1 (en) 2015-08-07
EP3103258A1 (en) 2016-12-14
EP3745712A1 (en) 2020-12-02
JP2019110544A (ja) 2019-07-04
JP2017510167A (ja) 2017-04-06
CN108093271A (zh) 2018-05-29

Similar Documents

Publication Publication Date Title
CN104837060A (zh) 确定广告和媒体中的其它插入物的位置和时间安排的方案
US20200344505A1 (en) Scheme for determining the locations and timing of advertisements and other insertions in media
US9538049B2 (en) Scheme for determining the locations and timing of advertisements and other insertions in media
CN102290082B (zh) 视频精彩回放片段的处理方法及装置
CN101103627B (zh) 构造虚拟视频频道的方法和系统
US9300994B2 (en) Methods and systems for viewing dynamically customized audio-visual content
CN102938853A (zh) 一种数字电视中视频文件的播放方法及装置
GB2504270A (en) Synchronising hyperlink and associated object positions using frame numbers encoded as pixel data
US20110141359A1 (en) In-Program Trigger of Video Content
US20160269788A1 (en) Indexing, advertising, and compiling sports recordings
KR20200089657A (ko) 표시 제어 장치 및 컴퓨터 프로그램
US10229719B1 (en) Systems and methods for generating highlights for a video
Fuhrhop et al. Interactive 360° Narrative for TV use
Ward Camera movement (2)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150812

WD01 Invention patent application deemed withdrawn after publication