CN1545811A - 视频中覆盖元素的适应性放置 - Google Patents

视频中覆盖元素的适应性放置 Download PDF

Info

Publication number
CN1545811A
CN1545811A CNA028127110A CN02812711A CN1545811A CN 1545811 A CN1545811 A CN 1545811A CN A028127110 A CNA028127110 A CN A028127110A CN 02812711 A CN02812711 A CN 02812711A CN 1545811 A CN1545811 A CN 1545811A
Authority
CN
China
Prior art keywords
image
viewing area
desirable viewing
zone
percentage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028127110A
Other languages
English (en)
Other versions
CN1277414C (zh
Inventor
S
S·达格塔斯
�¶���Ī���в�
M·阿夫德尔·莫塔列布
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1545811A publication Critical patent/CN1545811A/zh
Application granted granted Critical
Publication of CN1277414C publication Critical patent/CN1277414C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于在数字视频图像中放置覆盖元素，从而使图像的期望观看区域不被覆盖元素所阻碍的方法，该方法包括：从视频中抽取帧，每一帧都定义了具有一个或者多个期望观看区域的图像。对于每一帧，在图像中选择区域用于放置覆盖元素，并且为所选择的区域确定覆盖元素覆盖在期望的观看区域的百分比。如果百分比低于所允许的覆盖百分比的预定最大值，覆盖元素就放置在所选择的区域。如果不是，就选择图像中的一个或者多个其它的区域，和/或改变覆盖元素的尺寸，形状，宽高比，直到找到在图像中使期望的观看区域的阻碍最小的位置和/或尺寸，形状，宽高比为止。还有，一种诸如视频接收机或视频发射机的用于在数字视频的图像中放置覆盖元素，从而使得图像的期望观看区域不被覆盖元素所阻碍的设备。在这样的设备中，帧抽取器从视频中抽取帧，每一帧都定义了具有至少一个期望观看区域的图像。图像处理器，分析这些图像帧，并在这些图像帧中识别期望的观看区域。覆盖元素定位器，以使期望观看图像的阻碍最小化的方式将覆盖元素放置在这些图像帧中。

Description

视频中覆盖元素的适应性放置
技术领域
本发明涉及电视系统。尤其是，本发明涉及用于在视频中适应地放置覆盖元素的方法和设备。
发明背景
在电视广播的产生和显示过程中，视频图像具有多个覆盖在其区域内的元素。这样的覆盖元素的一个典型的例子是一个封闭字幕窗口，其通常位于图像的顶端或底端。其它的覆盖单元可以包括表示所显示的人物，记分板，新的订单，标识等的字幕。
图像中覆盖元素的精确的位置通常是随意的，并且通常是观众非常期望看到的图像的阻挡区域，例如，文本或者人物的脸。这是由于在模拟领域的情况下，没有实用的技术用于检测语义特征并且适应性的调整图像中覆盖元素的放置。
因此，在封闭字幕窗口的情况下，在图像的顶端或者底端的放置目前是以手动选择方法进行的。结果是，尤其在现场直播当中，封闭字幕或者其它的覆盖物或者对象通常被放置在图像的期望区域中，因此产生了同样的阻碍(阻挡)。
因此，需要用于适应性地将覆盖元素放置在视频图像中的方法和设备，从而使得图像的期望区域不被阻碍。
发明内容
根据本发明的一个方面，一种用于在数字视频图像中放置覆盖元素，从而使图像的期望观看区域不被阻碍的方法，包括：从视频中抽取帧，每一帧都定义了一个具有一个或者多个期望观看区域的图像，该区域能够通过检测脸或者文本来识别，或者通过测量这些帧的不同区域之间的运动活性来识别。对于每一帧，区域是选出来在图像中放置覆盖元素的，而且对于选出的区域，确定覆盖元素覆盖在期望的观看区域的百分比。选出的区域可以是在多个预定位置中的一个随意选择的位置。如果百分比低于所允许的覆盖百分比的预定最大值，覆盖元素就被放置在所选出的区域。如果不是，图像中的一个或者多个其它的区域就被选择并且如上述所述的被估算，直到找到图像中使期望的观看图像的阻碍最小的区域为止。这些其它的区域可以是其它的预定位置或者使用其它的选择方案所选择出来的位置中的一个。此外，阻碍可以通过改变覆盖元素的尺寸，形状，宽高比等来最小化，而不用改变其在帧中的位置。还有，阻塞可以通过改变覆盖元素的位置，同时改变其尺寸，形状，宽高比等来最小化。
根据本发明的另一个方面，一种用于在数字视频图像中放置覆盖元素，从而使图像中的期望观看区域不被覆盖元素所阻碍的设备，诸如一个视频发射机或者视频接收机，包括：一个帧抽取器，用于从视频中抽取帧，每一帧都定义了一个具有至少一个期望观看区域的图像，该区域能够通过检测脸或者文本来识别，或者通过测量这些帧的不同区域之间的运动活性来识别。一个图像处理器，分析图像帧并且在图像帧中识别期望观看区域。一个覆盖元素定位器，用于将覆盖元素放置在图像帧中，放置是以使期望观看的图像的阻碍最小的方式进行的。
附图说明
本发明的优点，特点和各种附加的特征将在参照附图对实施例的详尽描述中看得更清楚。
附图1是一个表明根据本发明的一个实施例的覆盖元素定位设备的方框图；
附图2表明根据本发明的一个实施例所处理的暂时视频段的代表帧；以及
附图3是表明根据本发明的一个实施例的方法的流程图。
附图4是表明根据本发明的一个实施例的视频接收机设备的方框图；以及
附图5是表明根据本发明的一个实施例的视频发射机设备的方框图。
本发明的详细描述
本发明是一种用于将诸如封闭字幕窗口的覆盖元素适应性地放置在视频图像中，从而使得观众感兴趣的图像区域不被覆盖元素阻碍的方法和设备。为了描述本发明的原理，这里所讨论的期望的图像区域包括人的脸和文本。但是，应当明白，本发明对于视频图像中观众感兴趣的其它图像区域同等适用。
除了封闭字幕窗口，覆盖元素还可以包括屏上命令，频道识别信息，或者覆盖在诸如电视接收机的显示设备所显示的视频图像上的任何其他元素(实际上通常为正文)。本发明也可以应用到电视广播系统，该系统将诸如显示的人物，记分板，股票，新的订单，标识以及在将被广播的视频数据流中的其它图像的字幕的元素进行覆盖。
覆盖元素的适应性的放置也可以通过通常的脸部和文本检测技术来实现，通常的检测技术是在暂时视频段的代表帧中检测脸部和文本图像区域(或者其它期望的图像区域)。覆盖元素的适应性的放置可以通过使用通常的运动测量技术来实现，通常的运动测量技术是在暂时视频段的代表帧中的不同区域测量运动活性。这样的技术在K.Peker和A.Divakaran所著的“视频段的运动活性强度的自动测量”，Proc.SPIE有关多媒体数据库的存储和检索的会议，SanJose，CA，2001年1月，以及Mohamed AbdelMottaleb等人1998年12月11日提交的序列号为09/210415的美国专利申请，题目为“用于在数字图像中检测脸部的方法”，它们的公开在此引入作为参考。根据该基于运动的技术，具有较小的运动活性的区域通常被认为比具有较高的运动活性的区域更合适用于覆盖元素。运动活性能够在压缩MPEG域或者在未压缩的域中计算。对于压缩的视频，在一个区域的运动活性能够按照该区域的运动补偿矢量的幅度的标准偏移来计算。对于未压缩的视频，该区域的运动活性能够使用光学流来确定。
随后，利用上述检测方法获得的期望图像区域数据在本发明中被使用，用于确定将覆盖元素放置在帧中的最佳方式，即，将帧的期望图像区域的阻碍最小化的放置方式。
现在参照附图进行描述，首先看方框图1，示出了一个根据本发明的一个实施例的用于将视频中期望图像区域被覆盖元素阻碍最小化的设备100。设备100包括一个帧抽取器101，一个图像处理器102以及一个覆盖元素窗口定位器103。帧抽取器101从视频的暂时视频段中抽取代表帧。图像处理器102利用通常的检测方法，例如先前描述的脸和/或文本检测技术，或基于运动的检测技术，来分析这些帧并且在这些帧中识别适于放置覆盖元素的区域。覆盖元素定位器103使用图像区域数据以使这些帧中的期望图像区域的阻碍最小化的方式在这些帧中放置覆盖元素。图2是一个表明一个覆盖元素204的六个典型定位或位置203a-203f的示例帧200，该帧可以包括具有一行或者多行的封闭字幕窗口(图中示出了一行的封闭字幕窗口)。在上部候选区域201的箭头203a-203c表示这些定位中的三个，在下部候选区域204的箭头203d-203f表示帧200中的这些定位中的其它三个。定位203a-203f表示能够被用来适应性地放置一个覆盖元素204从而使帧200中的期望图像区域的阻碍最小化的预定位置。应当注意帧200中的其它定位也可以用于覆盖元素204。如图所示，覆盖元素204被放置在上部候选区域201的定位203b。这六个定位中的最佳的一个是根据本发明的原理，通过计算每一个位置的阻碍比，并根据它们的阻碍比对位置进行排队而选择的。阻碍比是封闭字幕窗口204覆盖期望的图像区域或者图像帧的区域的百分比。具有最不可能的阻碍比，并且能够避免封闭字幕窗口显著的突然帧到帧移动的位置被选择用于确定此位置。覆盖元素的候选位置能够以另外的一种方式被选择，而不用使用一组预定的位置。例如，在本发明的另一个实施例中，候选位置可以这样来定位，就是从图像的第一个位置开始并且将覆盖元素的位置移动一定的数量，直到找到使该帧中的期望图像区域的阻碍最小化的位置。应当注意，候选覆盖元素位置能够在图像中的任何地方确定。例如，覆盖元素位置可以定位在图像的两侧，或者在图像中正在说话的人的下面。
在本发明的另一个实施例中，阻碍可以通过改变覆盖元素的尺寸，形状，宽高比等来实现最小化，而不需要改变其在帧中的位置。在本发明又一个实施例中，阻碍可以通过改变覆盖元素的位置，同时改变其尺寸，形状，宽高比等来实现最小化。
上面描述的方法是在视频的每一个暂时视频段的代表帧上执行的。在每一个上部或者下部候选区域内的帧到帧位置的改变可以使用任何合适的缓冲技术来逐步地实现，所述的缓冲技术能够平滑位置改变并且使他们变得流畅和连续，这样覆盖元素就不会呈现不期望的跳动或者在图像的位置之间的突然移动。一种典型的能够被用来平滑位置，尺寸，形状和/或宽高比改变的缓冲技术包括在一段时间内在两个位置，尺寸，形状和/或宽高比之间的内插。
图3是一个表明本发明中的方法的流程图，其可以由图1所示的设备来执行。在步骤300中，感兴趣的视频(关键帧)的一个暂时视频段的代表帧被抽取。期望区域的检测在步骤301中执行，以获得关于包含有期望的观看区域的图像中的定位的数据，从而能够识别这些帧中合适放置覆盖元素的区域。在脸和/或文本检测的情况下，如果数字视频流已经根据MPEG-4或MPEG-7处理，脸和/或文本数据或许已经存在，步骤301就可被省略。
在步骤302中，一帧中用于覆盖元素的第一区域被选择出来用于在位置，尺寸，形状，宽高比等方面的估算。在步骤303中，关于期望图像区域的定位的数据被用于判断第一区域的阻碍比。包括多于一种类型的例如脸和文本，或高运动活性的期望图像特征的图像区域的阻碍比，能够通过使用下面的公式计算组合阻碍比来确定：
组合阻碍比＝C1*特征1_阻碍+C2*特征2_阻碍+C3*特征3_运动活性级
这里：
C1是关于图像的特征1(脸)区域的重要性的系数或加权因子；
特征1_阻碍是特征1区域被覆盖元素的当前位置覆盖的百分比；
C2是关于图像的特征2(文本)区域的重要性的系数或加权因子；
特征2_阻碍是特征2区域被覆盖元素的当前位置覆盖的百分比；以及
C3是关于图像的特征3(高运动活性)区域的重要性的系数或加权因子。
系数C1，C2和C3的使用提供了将重要性分配到特征1(脸)，特征2(文本)和特征3(运动活性)的阻碍数据的灵活性。如果期望的图像区域仅是脸或者文本，只需要计算覆盖元素覆盖帧中的脸或文本图像的百分比。在步骤304中，需要判断第一个覆盖元素区域的阻碍比是否大于一个可接受的预定的门限阻碍比。如果大于，那么在步骤305中，覆盖元素的区域移动到一个新的区域，然后对于新的区域执行步骤303和304。到新区域的移动可以通过使用图2所示的预定的列表来实现，或者对当前的区域进行平移，按比例缩放或者旋转。这一过程一直持续到该帧中的期望图像区域的阻碍最小化的区域被找到。可以进行区域变化，这样可能避免刺激观众的帧到帧激变，如上所述。
一旦覆盖元素已经被合适的放置在一帧中，在步骤306中，就选择一个接下来的代表帧用来处理。在步骤307中，判断下一帧是否是用于放置覆盖元素的视频中的最后一帧。如果是，在步骤308中，方法结束。如果不是，在步骤309中，在下一帧中选择第一区域，并且步骤303，304等执行。
本发明的原理可以在任何类型的视频接收设备中执行，例如电视接收机，电视机顶盒，卡式录像机。本发明的原理也可以在视频发射设备中执行，例如在电视广播中使用的设备。本发明可以通过软件或者软件和硬件共同来完成。
图4表明了根据本发明的原理制成的视频接收设备，诸如电视接收机或机顶盒。接收机设备410用于接收发送的视频信号，例如电视广播信号，其中至少一个信号包括一个视频和一个或者多个覆盖元素，其是诸如电视广播发射器的传统的视频发射器400所发射的信号。接收机设备可以包括任何合适的信号接收装置406，例如一个天线，用于接收视频信号。一个包括有一个可调谐接收系统，例如一个电视接收机的信号隔离器401，用于将一个视频信号从发射的其它视频信号中隔开。一个帧抽取器402，用于从隔离信号的视频部分的暂时视频段中抽取代表帧。一个图像处理器403，利用传统的检测技术，例如先前描述的脸和/或文本检测技术或基于运动的检测技术，分析这些帧并且在这些帧中识别合适的区域用于放置覆盖信息元素。一个覆盖元素定位器404，利用图像区域数据以使这些帧中期望的图像区域的阻碍最小化的方式在这些帧中放置覆盖元素。一个显示设备405，用于显示具有覆盖元素的帧。显示设备405可以是一台电视机，一个计算机显示器，一个液晶显示器等的显示屏。
图5表明了根据本发明的原理制成的典型的发射机设备500，诸如一个电视广播发射机。发射机设备500用于发射一个视频信号，该视频信号包括具有选择放置其中的一个或者多个覆盖元素的视频图像，覆盖元素的选择使图像的期望观看区域不会被一个或者多个覆盖元素所阻碍。发射设备500包括一个视频产生器501，用于产生包括视频图像的视频。一个帧抽取器502，用于从视频产生器501所产生的视频的暂时视频段中抽取代表帧。一个图像处理器503，利用传统的检测技术，例如先前描述的脸和/或文本检测技术或基于运动的检测技术，分析这些帧并且在这些帧中识别合适的区域用于放置覆盖信息元素。一个覆盖元素产生器505，用于产生一个或者多个选择性地放置在视频图像中的覆盖元素。一个覆盖元素定位器504，利用图像区域数据确定在这些帧中放置覆盖元素的位置，这种选择放置是以使这些帧中期望图像区域的阻碍最小化的方式进行的。有一个传统的信号发射器506耦合到一个传统的发射装置507上，例如一个天线，有线分配网络，或者一个卫星网络，用于向一个或者多个远程电视接收设备508，发射具有放置在其图像中的覆盖元素的视频的一个视频信号。覆盖元素定位器504确定放置的位置并且将该信息与实际的图像数据一同发射。
上面的发明是参照以上的实施例进行描述的，可以做出各种不背离本发明的精神的不同的修改和变形。因此，这样的修改和变形也认为是落在本发明所附的权利要求的范围之内。
本发明可以总结为如下的内容。
一种在数字视频图像中放置覆盖元素从而使得图像的期望观看区域不被覆盖元素所阻碍的方法，该方法包括从视频中抽取帧，每一帧都定义了一个具有一个或者多个期望观看区域的图像。对于每一帧，可以在图像中选择区域用于放置覆盖元素，并且对所选择的区域确定覆盖元素覆盖期望观看区域的百分比。如果百分比低于所允许的覆盖百分比的预定最大值，覆盖元素就放置在所选择的区域。如果不是，就选择图像中的一个或者多个其它的区域，和/或改变覆盖元素的尺寸，形状，宽高比，直到找到图像中使期望的观看图像的阻碍最小的位置和/或尺寸，形状，宽高比为止。还有，一种诸如视频接收机或视频发射机的用于在数字视频的图像中放置覆盖元素，从而使得图像的期望观看区域不被覆盖元素所阻碍的设备。在这样的设备中，一个帧抽取器从视频中抽取帧，每一帧都表示定义了具有至少一个期望观看区域的图像。一个图像处理器，分析这些图像帧，并在这些图像帧中识别期望的观看区域。一个覆盖元素定位器，以使期望观看区域的阻碍最小化的方式将覆盖元素放置在这些图像帧中。

Claims (22)

1.一种用于在数字视频图像中放置覆盖元素，从而使图像的期望观看区域不被覆盖元素所阻碍的方法，该方法包括步骤：
a)从视频中抽取(300)帧，帧定义了具有至少一个期望观看区域的图像；
b)在图像中选择(302)区域，用来放置覆盖元素；
c)对于所选择的区域，确定(303)覆盖元素覆盖至少一个期望观看区域的百分比；
d)如果百分比高于所允许的覆盖百分比的预定最大值，在图像中选择另一个区域(305)，用于放置覆盖元素，并且继续步骤c)。
2.如权利要求1所述的方法，进一步包括步骤：如果百分比低于所允许的覆盖百分比的预定最大值，就将覆盖元素放置在所选择的区域。
3.如权利要求2所述的方法，进一步包括步骤：从定义了具有至少一个期望观看区域的图像的视频中抽取另一帧(306)，然后继续步骤b)。
4.如权利要求1所述的方法，其中至少一个期望观看区域包括脸部区域。
5.如权利要求1所述的方法，其中至少一个期望观看区域包括文本区域。
6.如权利要求1所述的方法，其中至少一个期望观看区域包括高运动活性区域。
7.如权利要求1所述的方法，其中覆盖元素选自封闭字幕，屏上命令，频道识别信息，用于显示的人物，记分板，股票，新的订单，标识和其它不在原始视频中的图像的字幕。
8.如权利要求1所述的方法，其中在步骤b)和c)之间进一步包括步骤：获得关于图像帧中的至少一个期望观看区域的定位数据，并在步骤c)中应用该数据确定覆盖元素覆盖至少一个期望观看区域的百分比。
9.一种用于在数字视频图像中放置覆盖元素从而使得图像的期望观看区域不被覆盖元素所阻碍的设备，该设备包括：
帧抽取器(101)，用于从视频中抽取帧，每一帧都定义了具有至少一个期望观看区域的图像；
图像处理器(102)，用于分析这些帧中的图像，从而在这些帧中识别期望的观看区域；以及
覆盖元素定位器(103)，用于以使期望观看区域的阻碍最小化的方式在图像帧中放置覆盖元素。
10.如权利要求9所述的设备，其中至少一个期望观看区域包括脸部区域。
11.如权利要求9所述的设备，其中至少一个期望观看区域包括文本区域。
12.如权利要求9所述的设备，其中至少一个期望观看区域包括高运动活性区域。
13.如权利要求9所述的设备，其中图像处理器测量该帧中的不同区域的运动活性。
14.如权利要求9所述的设备，其中覆盖元素选自封闭字幕，屏上命令，频道识别信息，用于显示的人物，记分板，股票，新的订单，标识和其它不在原始视频中的图像的字幕。
15.如权利要求9所述的设备，其中定位器(103)包括区域选择器，用于在这些帧中的每一帧图像中选择区域用于放置覆盖元素，以及一个阻碍计算器，用于对于所选择的区域计算覆盖元素覆盖至少一个期望观看区域的百分比，如果百分比低于所允许的覆盖百分比的预定最大值，定位器就将覆盖元素放置在所选择的图像区域，如果百分比高于所允许的覆盖百分比的预定最大值，定位器就在图像中选择另一个区域，用于放置覆盖元素。
16.如权利要求15所述的设备，其中阻碍计算器对于所选择的区域利用下面的公式确定覆盖元素覆盖至少一个期望观看区域的百分比：
组合阻碍比＝C1*特征1_阻碍+C2*特征2_阻碍+C3*特征3_运动活性级
这里：
C1是关于图像的特征1(脸)区域的重要性的系数或加权因子；
特征1_阻碍是特征1区域被覆盖元素的当前位置覆盖的百分比；
C2是关于图像的特征2(文本)区域的重要性的系数或加权因子；
特征2_阻碍是特征2区域被覆盖元素的当前位置覆盖的百分比；以及
C3是关于图像的特征3(高运动活性)区域的重要性的系数或加权因子。
17.一种用于在数字视频图像中放置覆盖元素，从而使得图像的期望观看区域不被覆盖元素所阻碍的方法，该方法包括步骤：
a)从视频中抽取(300)帧，帧定义了具有至少一个期望观看区域的图像；
b)在图像中选择(302)区域，用于覆盖元素以及覆盖元素的尺寸，形状和宽高比中的至少一个；
c)对于所选择的覆盖元素的区域和覆盖元素的尺寸，形状和宽高比中的至少一个，确定(303)覆盖元素覆盖至少一个期望观看区域的百分比；
d)如果百分比高于所允许的覆盖百分比的预定最大值，改变图像中的区域，覆盖元素的尺寸，覆盖元素的形状以及覆盖元素的宽高比中的至少一个；以及
e)对于至少一种改变，确定覆盖元素覆盖至少一个期望观看区域的百分比。
18.一种用于在数字视频图像中放置覆盖元素从而使得图像的期望观看区域不被覆盖元素所阻碍的发射机设备(500)，该发射机设备(500)包括：
视频产生器(501)，用于产生数字视频；
帧抽取器(502)，用于从视频中抽取帧，每一帧都定义了具有至少一个期望观看区域的图像；
图像处理器(503)，用于分析这些图像帧，并在这些图像帧中识别期望观看区域；
覆盖元素产生器(505)，用于产生覆盖元素；
覆盖元素定位器(504)，用于以使期望图像区域的阻碍最小化的方式，确定在图像帧中放置覆盖元素的位置；以及
发射器(506)，用于发射具有覆盖元素定位信息的视频的视频信号。
19.如权利要求18所述的发射机设备(500)，其中至少一个期望观看区域包括脸部区域。
20.如权利要求18所述的发射机设备(500)，其中至少一个期望观看区域包括文本区域。
21.如权利要求18所述的发射机设备(500)，其中至少一个期望观看区域包括高运动活性区域。
22.如权利要求18所述的发射机设备(500)，其中图像处理器测量该帧中的不同区域的运动活性。
CNB028127110A 2001-06-25 2002-06-20 视频中覆盖元素的适应性放置 Expired - Fee Related CN1277414C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/888,804 US6778224B2 (en) 2001-06-25 2001-06-25 Adaptive overlay element placement in video
US09/888,804 2001-06-25

Publications (2)

Publication Number Publication Date
CN1545811A true CN1545811A (zh) 2004-11-10
CN1277414C CN1277414C (zh) 2006-09-27

Family

ID=25393937

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028127110A Expired - Fee Related CN1277414C (zh) 2001-06-25 2002-06-20 视频中覆盖元素的适应性放置

Country Status (6)

Country Link
US (1) US6778224B2 (zh)
EP (1) EP1438860A1 (zh)
JP (1) JP2004521571A (zh)
KR (1) KR20030036728A (zh)
CN (1) CN1277414C (zh)
WO (1) WO2003001815A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101945259A (zh) * 2010-09-13 2011-01-12 珠海全志科技有限公司 一种视频图像叠加与遮挡的装置和方法
CN102356641A (zh) * 2009-03-17 2012-02-15 皇家飞利浦电子股份有限公司 视频内容的呈现
CN102572261A (zh) * 2010-10-19 2012-07-11 三星电子株式会社 处理图像的方法以及应用该方法的图像拍摄设备
CN105430512A (zh) * 2015-11-06 2016-03-23 腾讯科技（北京）有限公司 一种在视频图像上显示信息的方法和装置
CN105898561A (zh) * 2016-04-13 2016-08-24 腾讯科技（深圳）有限公司 一种视频图像处理方法和装置

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7432940B2 (en) * 2001-10-12 2008-10-07 Canon Kabushiki Kaisha Interactive animation of sprites in a video production
CN1218574C (zh) * 2001-10-15 2005-09-07 华为技术有限公司 交互式视频设备及其字幕叠加方法
US8522267B2 (en) * 2002-03-08 2013-08-27 Caption Colorado Llc Method and apparatus for control of closed captioning
JP5197910B2 (ja) * 2002-09-26 2013-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタル情報信号を受信する装置
JP4112968B2 (ja) 2002-12-26 2008-07-02 富士通株式会社 ビデオテキスト処理装置
MXPA06003890A (es) * 2003-10-06 2006-07-03 Disney Entpr Inc Sistema y metodo de control de reproduccion y caracteristica para reproductores de video.
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
US7319469B2 (en) * 2004-07-26 2008-01-15 Sony Corporation Copy protection arrangement
US7616264B1 (en) * 2004-12-06 2009-11-10 Pixelworks, Inc. Cropped and scaled picture-in-picture system and method
US20060147105A1 (en) * 2005-01-05 2006-07-06 Lee Shih-Jong J Alignment template goodness qualification method
WO2006111893A1 (en) * 2005-04-19 2006-10-26 Koninklijke Philips Electronics N.V. Depth perception
US7451041B2 (en) 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
TR201806795T4 (tr) * 2005-06-22 2018-06-21 Koninklijke Philips Nv Veri içeriğini görüntülemek için bir yöntem ve cihaz.
US7557817B2 (en) * 2005-08-23 2009-07-07 Seiko Epson Corporation Method and apparatus for overlaying reduced color resolution images
US20070174783A1 (en) * 2006-01-26 2007-07-26 Clark Timothy P System and method of intelligent window placement for digital video
JP2007232846A (ja) * 2006-02-28 2007-09-13 Toshiba Corp 情報処理装置および制御方法
JP4871635B2 (ja) * 2006-04-28 2012-02-08 キヤノン株式会社 デジタル放送受信装置及びその制御方法
US8253736B2 (en) * 2007-01-29 2012-08-28 Microsoft Corporation Reducing occlusions in oblique views
US20080249943A1 (en) * 2007-04-04 2008-10-09 Barrs John W Modifying A Digital Media Product
US8892471B2 (en) * 2007-04-04 2014-11-18 International Business Machines Corporation Modifying a digital media product
US8345159B2 (en) * 2007-04-16 2013-01-01 Caption Colorado L.L.C. Captioning evaluation system
US8929461B2 (en) * 2007-04-17 2015-01-06 Intel Corporation Method and apparatus for caption detection
JP2009124510A (ja) * 2007-11-15 2009-06-04 Canon Inc 表示制御装置及びその方法、プログラム、記録媒体
JP5219501B2 (ja) * 2007-12-27 2013-06-26 三菱電機株式会社 画面生成装置および画面レイアウト共有システム
US20090273711A1 (en) * 2008-04-30 2009-11-05 Centre De Recherche Informatique De Montreal (Crim) Method and apparatus for caption production
CN102210162B (zh) * 2008-11-12 2014-01-29 富士通株式会社 反射式字幕移动处理装置、方法
WO2010072755A1 (en) * 2008-12-23 2010-07-01 Philip Morris Products S.A. Reclosable container
US10225625B2 (en) 2009-04-06 2019-03-05 Vitac Corporation Caption extraction and analysis
US9245017B2 (en) 2009-04-06 2016-01-26 Caption Colorado L.L.C. Metatagging of captions
KR101098088B1 (ko) * 2009-07-10 2011-12-26 엘지전자 주식회사 방송용 단말기 및 그 제어 방법
US9401099B2 (en) 2010-05-11 2016-07-26 AI Squared Dedicated on-screen closed caption display
US8856682B2 (en) * 2010-05-11 2014-10-07 AI Squared Displaying a user interface in a dedicated display area
JP5465620B2 (ja) 2010-06-25 2014-04-09 Ｋｄｄｉ株式会社 映像コンテンツに重畳する付加情報の領域を決定する映像出力装置、プログラム及び方法
US8595761B2 (en) 2011-06-17 2013-11-26 International Business Machines Corporation Streaming video with enhanced overlay positioning
US8744186B1 (en) 2011-09-30 2014-06-03 Tribune Broadcasting Company, Llc Systems and methods for identifying a scene-change/non-scene-change transition between frames
US9088426B2 (en) * 2011-12-13 2015-07-21 Google Inc. Processing media streams during a multi-user video conference
US9088697B2 (en) 2011-12-13 2015-07-21 Google Inc. Processing media streams during a multi-user video conference
FR2984668B3 (fr) * 2011-12-16 2014-09-05 Phonitive Procede de traitement de sequence video sur les terminaux mobiles en temps reel
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
CN103702040B (zh) * 2013-12-31 2018-03-23 广州华多网络科技有限公司 实时视频图饰叠加处理方法及系统
KR101430614B1 (ko) * 2014-05-30 2014-08-18 주식회사 모리아타운 웨어러블 안경을 이용한 디스플레이 장치 및 그 동작 방법
EP3029942B1 (en) 2014-12-04 2017-08-23 Axis AB Method and device for inserting a graphical overlay in a video stream
US10699454B2 (en) * 2014-12-30 2020-06-30 Facebook, Inc. Systems and methods for providing textual social remarks overlaid on media content
US9762851B1 (en) 2016-05-31 2017-09-12 Microsoft Technology Licensing, Llc Shared experience with contextual augmentation
US9992429B2 (en) 2016-05-31 2018-06-05 Microsoft Technology Licensing, Llc Video pinning
US9930285B1 (en) * 2017-01-13 2018-03-27 International Business Machines Corporation Autonomic positioning of overlays within streaming data
US11102549B2 (en) * 2017-09-27 2021-08-24 Wurl Inc. Selective video overlay
WO2020013484A1 (ko) * 2018-07-11 2020-01-16 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
EP3709045A1 (en) * 2019-03-12 2020-09-16 HERE Global B.V. Determining a path of a mobile device in a public transportation building
CN110290426B (zh) * 2019-06-24 2022-04-19 腾讯科技（深圳）有限公司 展示资源的方法、装置、设备及存储介质
CN112004116B (zh) * 2020-08-26 2021-08-24 北京字节跳动网络技术有限公司 用于确定对象添加方式的方法、装置、电子设备和介质
US11617017B2 (en) * 2021-06-30 2023-03-28 Rovi Guides, Inc. Systems and methods of presenting video overlays

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4998171A (en) * 1988-07-05 1991-03-05 Samsung Electronics Co., Ltd. Automatic shift circuit for a sub-picture screen for picture-in-picture feature
KR960003880B1 (ko) 1992-10-12 1996-03-23 엘지전자주식회사 캡션 자막 표시 제어장치와 표시 제어방법
JP3011224B2 (ja) * 1994-02-22 2000-02-21 日本ビクター株式会社 ディスプレイ装置
JPH07274140A (ja) 1994-03-31 1995-10-20 Toshiba Corp テレビジョン受像機
JP3402533B2 (ja) 1994-08-10 2003-05-06 シャープ株式会社 文字放送特殊再生装置及びテレテキスト放送特殊再生装置
JPH08289253A (ja) 1995-04-14 1996-11-01 Matsushita Electric Ind Co Ltd 信号記録装置
ES2134625T3 (es) * 1995-06-16 1999-10-01 Princeton Video Image Inc Sistema y metodo para introducir inserciones, en tiempo real, en video, utilizando oclusion adaptativa con una imagen de referencia sintetica.
JPH0946657A (ja) * 1995-08-02 1997-02-14 Sharp Corp クローズドキャプションデコーダ装置
US6031914A (en) * 1996-08-30 2000-02-29 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible images
US6597818B2 (en) * 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
JPH11168702A (ja) 1997-12-02 1999-06-22 Toshiba Corp 複数映像の表示位置制御能付き映像信号処理装置
JP3468404B2 (ja) * 1998-03-11 2003-11-17 日本電信電話株式会社 映像字幕挿入方法および装置並びに該映像字幕挿入方法を記録した記録媒体
JP3509060B2 (ja) * 1998-05-28 2004-03-22 松下電器産業株式会社 表示制御装置および方法
US6373530B1 (en) * 1998-07-31 2002-04-16 Sarnoff Corporation Logo insertion based on constrained encoding
JP4508330B2 (ja) 1999-01-25 2010-07-21 キヤノン株式会社 表示装置
US6381362B1 (en) * 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
JP4330049B2 (ja) * 1999-06-24 2009-09-09 カシオ計算機株式会社 電子カメラ装置、情報配置方法及びコンピュータ読み取り可能な記録媒体
US6573945B1 (en) * 2000-01-12 2003-06-03 General Instrument Corporation Logo insertion on an HDTV encoder
JP2001333348A (ja) 2000-05-24 2001-11-30 Minolta Co Ltd 送信装置、受信装置、放送システムおよび放送方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102356641A (zh) * 2009-03-17 2012-02-15 皇家飞利浦电子股份有限公司 视频内容的呈现
CN102356641B (zh) * 2009-03-17 2015-06-03 Tp视觉控股有限公司 视频内容的呈现
CN101945259A (zh) * 2010-09-13 2011-01-12 珠海全志科技有限公司 一种视频图像叠加与遮挡的装置和方法
CN101945259B (zh) * 2010-09-13 2013-03-13 珠海全志科技股份有限公司 一种视频图像叠加与遮挡的装置和方法
CN102572261A (zh) * 2010-10-19 2012-07-11 三星电子株式会社 处理图像的方法以及应用该方法的图像拍摄设备
CN105430512A (zh) * 2015-11-06 2016-03-23 腾讯科技（北京）有限公司 一种在视频图像上显示信息的方法和装置
CN105898561A (zh) * 2016-04-13 2016-08-24 腾讯科技（深圳）有限公司 一种视频图像处理方法和装置
CN105898561B (zh) * 2016-04-13 2019-06-18 腾讯科技（深圳）有限公司 一种视频图像处理方法和装置

Also Published As

Publication number Publication date
WO2003001815A1 (en) 2003-01-03
KR20030036728A (ko) 2003-05-09
EP1438860A1 (en) 2004-07-21
US20020196370A1 (en) 2002-12-26
CN1277414C (zh) 2006-09-27
US6778224B2 (en) 2004-08-17
JP2004521571A (ja) 2004-07-15

Similar Documents

Publication Publication Date Title
CN1277414C (zh) 视频中覆盖元素的适应性放置
CA2466924C (en) Real time interactive video system
US6219837B1 (en) Summary frames in video
JP4777583B2 (ja) 独立コード化領域を特徴とする画像シーケンス圧縮
US6970510B1 (en) Method for downstream editing of compressed video
CN1085005C (zh) 用于发送和接收视频信号的装置和方法
US6507618B1 (en) Compressed video signal including independently coded regions
US20090324199A1 (en) Generating fingerprints of video signals
US20160065998A1 (en) Method, apparatus and system for providing access to product data
EP1393553B1 (en) Detecting subtitles in a displayable image area of a video signal
KR100866201B1 (ko) 멀티미디어 휴대형 단말기 사용자를 위한 관심 영역의 추출방법
US20110202575A1 (en) Media Container File
WO2000039745A1 (en) Real-time feature-based video stream distortion analysis system
CN102177726A (zh) 用于音频和视频签名生成和检测的特征优化和可靠性估计
CN1925599A (zh) 显示广播信息的方法及使用所述方法的视频显示装置
KR20030026529A (ko) 키프레임 기반 비디오 요약 시스템
KR20070120403A (ko) 영상 편집장치 및 방법
CN1513260A (zh) 寻找节目开始和结束段的增强电子广播节目指南
US7262811B2 (en) System and method for automatic zoom
CN113938713A (zh) 一种多路超高清视频多视角漫游播放方法
US20050125834A1 (en) Image display apparatus
US20180027269A1 (en) Method of Video Content Selection and Display
CN1795675A (zh) 用于访问图文电视信息的系统的控制
US20050151757A1 (en) Image display apparatus
O'Toole Analysis of shot boundary detection techniques on a large video test suite

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060927