CN102047654A - 内容显示处理设备和内容显示处理方法 - Google Patents

内容显示处理设备和内容显示处理方法 Download PDF

Info

Publication number
CN102047654A
CN102047654A CN2009801009053A CN200980100905A CN102047654A CN 102047654 A CN102047654 A CN 102047654A CN 2009801009053 A CN2009801009053 A CN 2009801009053A CN 200980100905 A CN200980100905 A CN 200980100905A CN 102047654 A CN102047654 A CN 102047654A
Authority
CN
China
Prior art keywords
content
image
content display
display message
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801009053A
Other languages
English (en)
Inventor
神户信裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102047654A publication Critical patent/CN102047654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Abstract

执行处理以便在不妨碍视频图像的重要部分的情况下显示叠加在所述视频图像之上的内容。内容显示处理设备装备有视频图像获取单元，其获取包含多个静止图像的视频图像；内容获取单元，其获取将被显示的叠加在所述视频图像之上的内容；图像处理单元，其从所述视频图像中提取静止图像；图像识别单元，其从由所述图像处理部件提取出的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；内容放置单元，其根据图像识别单元检测出的区域确定能指示所述内容的放置和大小的内容显示信息；以及显示处理单元，其执行处理以基于内容放置单元确定的内容显示信息来显示叠加在视频图像上的内容。

Description

内容显示处理设备和内容显示处理方法
技术领域
本发明涉及内容显示处理设备和内容显示处理方法，其在内容被叠加到视频图像上的同时，显示所述视频图像。
背景技术
诸如电视机的显示视频图像的设备可以在从广播或通过外部输入端子获取的视频图像上同时显示指示所述设备状态的内容、数据广播、通过因特网获取的内容等等。例如，为了在显示数据广播的电视屏幕上叠加内容，可以以缩小的方式显示视频图像。在这种情况下，高优先级被提供给在电视屏幕上显示的内容，而视频图像被过分地缩小。这可能使得用户难以在电视屏幕上观看视频图像。
因此，使诸如关于接收频道的信息和用于使能显示屏幕的颜色控制的性能的设置屏幕的内容成为透明的，并以叠加的方式在电视屏幕出现的视频图像上显示所述内容。然而，因为所述电视屏幕中的用于显示内容的位置是固定的，所以，内容经常覆盖视频图像的重要部分。
由于这个原因，当以叠加的方式在视频图像上显示内容时，根据关于专利文件1描述的方法，从使能内容的显示的多个预设的区域中选择含有背景颜色的最少变化量的区域。构成内容的字符串等的颜色根据所选择的区域的颜色分布而变化，且在被叠加到视频图像上的同时，在所述视频图像上显示内容。
相关领域文件
专利文件
专利文件1：JP-A-10-247135
专利文件2：JP-A-2001-357407
专利文件3：JP-A-5-165594
发明内容
本发明将解决的问题
然而，按照关于专利文件1描述的内容显示处理方法，当以叠加的方式在视频图像上显示内容时，必须预先设置用于安置内容的多个候选位置。因此，即使在关于专利文件1描述的内容显示处理方法被应用到涉及频繁出现视频图像随着时间的变化的一般广播等等时，也很难防止用于安排内容的预设的位置覆盖视频图像的重要部分。
本发明的一个目标是，提供可以在不妨碍视频图像的重要部分的情况下、以叠加的方式在视频图像上显示内容的内容显示处理设备和内容显示处理方法。
解决所述问题的方法
本发明提供了内容显示处理设备，其包括：视频图像获取部件，其获取由多个静止图像构成的视频图像；内容获取部件，其获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述视频图像上；图像处理部件，其从所述视频图像提取静止图像；图像识别部件，其从由所述图像处理部件提取出的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；内容布局部件，其根据所述图像识别部件检测出的区域，来确定指示所述内容的布局和大小的内容显示信息；以及显示处理部件，其执行处理，以便根据由所述内容布局部件确定的内容显示信息，在所述内容被叠加到所述视频图像上的同时显示所述内容。
本发明还提供了内容显示处理方法，其包括：获取由多个静止图像构成的视频图像；获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述视频图像上；从所述视频图像提取静止图像；从所提取的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；根据所检测的区域，来确定指示所述内容的布局和大小的内容显示信息；以及根据所确定的内容显示信息，在所述内容被叠加到所述视频图像上的同时，在所述视频图像上显示所述内容。
本发明的优势
本发明的内容显示处理设备和内容显示处理方法可以执行处理，使得在不妨碍视频图像的重要部分的情况下，在所述内容被叠加到所述视频图像的同时，显示所述内容。
附图说明
图1是显示具有本发明的实施例1的内容显示处理设备的内容显示系统的配置的图；
图2是显示本发明的实施例1的内容显示处理设备的处理操作的流程图；
图3是描述本发明的实施例1的内容显示处理设备的内容布局方法的图，其中，图3(a)是显示所提取的图像的示例边界以及要以叠加的方式显示的内容示例的图，图3(b)是显示使能图3(a)中所示的内容的安置的三个候选区域的图，图3(c)显示了从图3(b)所示的三个候选区域中选择的区域中的内容显示区域，以及图3(d)显示了在图3(c)所示的内容显示区域中显示的内容。
图4是描述用于改变在本发明的实施例1的内容显示处理设备中的内容大小的方法的图，其中，图4(a)是显示在重新计算之前实现的静止图像301的图，图4(b)是显示其边界覆盖内容的所述静止图像301的图，图4(c)是显示内容被逐步缩小的所述静止图像301的图，以及图4(d)是显示在重新计算之后、内容图像被叠加到所述静止图像301上的图；
图5是显示本发明的实施例1的内容显示处理设备的内容布局的变化的图，其中，图5(a)是显示示例显示(1)的图，图5(b)是显示示例显示(2)的图，图5(c)是显示示例显示(3)的图，以及图5(d)是显示示例显示(4)的图；
图6是显示用于本发明的实施例1的内容显示处理设备的内容显示方法的类型的图，其中，图6(a)是显示示例显示(5)的图，图6(b)是显示示例显示(6)的图，图6(c)是显示示例显示(7)的图，以及图6(d)是显示示例显示(8)的图；
图7是描述在本发明的实施例1的内容显示处理设备中用于重新计算内容显示信息的方法的图。
具体实施方式
下面参考这些附图描述本发明的实施例。
(实施例1)
图1是显示具有本发明的实施例1的内容显示处理设备的内容显示系统的配置的图。
图1所示的内容显示系统包括：内容显示处理设备100，其为数字电视接收器；由因特网或专线构成的网络110；提供内容的内容服务器111；广播站112，其广播由视频图像和音频构成的节目；以及显示单元113。
术语“视频图像”在这里指的是以下两种情况：静止图像在每帧的基础上变化；以及静止图像以多帧的组的方式变化。
所述网络110由移动通信网络、公共电话网络、局域网、因特网等等组成。所述网络的类型和协议的类型都不受限制。诸如FTTH(光纤到户)、HFC(混合光纤同轴：光纤同轴线缆)、ADSL(非对称数字用户线)等大容量线路都可以被利用作为所述网络110的接入线路。
所述内容服务器111向内容显示处理设备100提供：例如，包括关于所述广播站112正在通过网络110广播的节目的信息的内容。所述内容服务器111是从控制部件构建的，所述控制部件包括：用于控制整个内容显示处理设备的计算机；通信接口，其连接到所述网络110，并传送和接收针对诸如因特网上的URL而访问的数据等；以及存储所传送/接收的数据的数据库。
所述广播站112广播节目。所述内容显示处理设备100接收由广播站112广播的节目。
所述显示单元113显示由内容显示处理设备100接收的节目。
所述内容显示处理设备100具有内容获取部件101、视频图像获取部件102、图像处理部件103、图像识别部件104、内容布局部件105、显示处理部件106、以及显示信息存储部件107。虽然没有图示，但是用于接受由用户、外部记录器以及互连不同的设备的接口执行的输入操作的输入设备被提供在所述内容显示处理设备100中。而且，虽然没有图示，但是所述内容显示处理设备100可以执行应用，以进行所述处理器本身的不同设置。
所述内容获取部件101通过网络110获取由静止图像、视频图像或文本表示的内容。所述内容包括正在从广播站112接收的节目信息、关于不同频道上同一时段内的节目的信息，等等。另外，该内容还可包括有关内容显示处理设备的设置信息(例如，时间信息)。为了加速内容获取处理，所述内容获取部件101也可以在仅当所述内容中有变化时才获取内容。而且，所述内容获取部件101也可以根据用户通过使用输入设备执行的输入操作来获取内容。
所述视频图像获取部件102获取由广播站112分发的视频图像数据。所述视频图像数据包括属于构成帧的静止图像的数据。除了获取由广播站112分发的视频图像数据之外，所述视频图像获取部件102还可以获取有线电视等等提供的有线广播、通过所述网络110分发的流、以及利用诸如DVD、BD和HDD(硬盘驱动器)的各种记录介质或来自诸如摄像机的图像设备的视频图像数据。
所述图像处理部件103从由视频图像获取部件102获取的视频图像数据中提取帧，并取出构成一帧的静止图像。
所述图像识别部件104在由图像处理部件103取出的静止图像中检测空闲区域。术语“空闲区域”意味着这样的区域，其包括所述静止图像的内部和所述静止图像的边界的至少一部分，且从其消除了所述静止图像的主要显示对象。
所述图像识别部件104首先通过亮度、色彩饱和度和色调中的任意一个或组合，将静止图像的像素转换为数值。接下来，所述图像识别部件104平滑所述像素值，由此消除噪声。所述图像识别部件104确定相邻像素之间的像素值差异。所述图像识别部件104检测像素值的差异大于阈值的像素区域，作为所述静止图像中主要显示对象的边界。
所述图像识别部件104检测在由所检测的边界包围的静止图像中除去所述主要显示对象的区域中的、包括静止图像的外边界的至少一个区域，作为用于安置内容的“空闲区域”。其原因是：作为视频图像的重要部分的所述静止图像中的主要显示对象通常被显示在静止图像中心区域的附近，而不是沿着静止图像的外边界被显示。
所述图像识别部件104还检测这样的区域作为用于安置内容的“空闲区域”，所述区域不具有任何边界，或只有少量边界，且在该区域中，主要显示对象图像只出现很小的变化。
所述图像识别部件104还可以通过亮度、色彩饱和度和色调中的任意一个或组合、且在不提取所述静止图像中的主要显示对象的边界的情况下，检测用于安置内容的空闲区域。
例如，当使用亮度时，所述图像识别部件104检测这样的区域作为安置内容的空闲区域，所述区域至少包括亮度低于预定值的区域的静止图像的外边界。具有低亮度级别的区域(即，暗区域)将很有可能不包括有关视频图像的重要信息。
当使用色彩饱和度时，所述图像识别部件104检测这样的区域作为放置内容的空闲区域，所述区域至少包括色彩饱和度低于预定值的区域的静止图像的外边界。其原因是：看起来较不明亮且暗淡的具有低色彩饱和度的区域将非常有可能不包括关于视频图像的重要信息。因此，当使用色调时，所述图像识别部件104确定所划分的区域的平均色调值，并针对每个色彩相似的区域而对所述区域分组。
所述图像识别部件104在毗邻的区域之间的色调差异小于阈值时，将每个色彩相似的毗邻区域连接。所述图像识别部件104检测这样的区域作为放置内容的空闲区域，所述区域至少包括根据相似的色彩所一体化的区域的静止图像的外边界。
所述内容布局部件105根据图像识别部件104所检测的空闲区域，来确定内容的布局和大小。
所述图像识别部件104所检测的用于放置内容的空闲区域是至少包括静止图像的外边界、且通过除去静止图像的主要显示对象而确定的区域。在实施例1中，所述静止图像假定为矩形。当所述静止图像的形状为矩形时，所述静止图像的外边界包括静止图像的四个角中的至少一个、或静止图像的四条边中的至少一点。而且，所述静止图像的外边界也可以是条形区域，其被形成为距所述静止图像的相应四条边的预设宽度。
所述内容布局部件105将静止图像划分成N×M的矩形区域矩阵(N和M是自然数)。在划分的矩形区域中，确定由图像识别部件104检测出的空闲区域的集合，由此作为用于放置内容的候选区域。
接下来，所述内容布局部件105从内容布局区域的各个候选中选择内容显示区域。确定放大或缩小的内容的形状是否能够在维持内容的宽高比的同时被安排在内容布局区域的各个候选中，并且，选择要放置内容的区域。
当存在多个能够放置内容的候选区域时，所述内容布局部件105选择候选区域之中的具有最大面积的区域，作为内容显示区域。
而且，当存在多个内容时，也可以根据内容类型、内容生成时间、内容大小、或内容的语义分类，将所述内容分类成组，并为同一个组内的每个内容分类布局区域。所述内容布局部件105根据所选择的区域生成示出内容布局和大小的内容显示信息。
在实施例1的内容显示处理设备100中，所述图像处理部件103、图像识别部件104和内容布局部件105由CPU等组成。除了由所述图像处理部件103、图像识别部件104和内容布局部件105执行的控制功能之外，所述CPU还控制整个内容显示处理设备。所述CPU具有ROM、RAM、作为电可重写非易失性存储器的EEPROM(电擦除可编程只读存储器)、快闪ROM等等。存储器存储各种数据集，如程序、通信控制数据以及终端的识别码等。
所述显示信息存储部件107是存储由内容布局部件105生成的内容显示信息的存储器。
所述显示处理部件106根据由内容布局部件105生成的内容显示信息，在视频图像上叠加内容，从而，将具有覆盖的内容的所述视频图像传送到显示单元113。
所述显示单元113显示从所述显示处理部件106传送的视频图像。在实施例1中，所述显示单元113是外部设备，而本发明不限于外部设备。所述显示单元113也可以被提供在内容显示处理设备100中。
如上面提到的，当以叠加的方式在显示细节频繁变化的视频图像上显示内容时，即使内容布局没有被预先确定，实施例1的所述内容显示处理设备也不会妨碍视频图像的重要部分。实施例1的所述内容显示处理设备也可以执行处理，以在所述内容被叠加到视频图像上的同时显示内容。
现在，通过参考图2来描述如上所述配置的所述内容显示处理设备100的操作。图2是显示本发明的实施例1的内容显示处理设备100的处理操作的流程图。
在步骤S11，所述视频图像获取部件102接收从广播站112传送的信号，并获取视频图像。
在步骤S12，所述内容获取部件101通过网络110，从所述内容服务器111获取内容。
在步骤S13，所述图像处理部件103从视频图像获取部件102获取的视频图像中提取帧，取出多个静止图像，并存储由此提取的图像。
在步骤S14，所述图像识别部件104在从所述图像处理部件103存储的多个静止图像中提取静止图像的主要显示对象图像的边界(下文中被称为“图像边界”)。
在步骤S15，确认所述内容显示信息是否被记录在所述显示信息存储部件107中。
当所述内容显示信息未被记录时，处理前进到步骤S16。当内容显示信息被记录时，处理前进到步骤S18。
在步骤S16，所述图像识别部件104在已除去了所述主要显示对象的静止图像内，从不包括任意图像边界的区域中选择空闲区域。
在步骤S17，所述内容布局部件105按照在步骤S16中选择的空闲区域，重新计算示出内容布局和内容大小的内容显示信息。虽然之后会提供细节，但当所述显示信息存储部件107计算内容显示信息时，有两种可用方法；即，用于首先计算内容布局的方法和用于首先计算内容大小的方法。
在步骤S18，所述显示处理部件106显示视频图像。
在步骤S19，所述内容布局部件105确定重新计算的内容显示信息是否合适。这里，所谓合适指的是内容被安置在静止图像的空闲区域、或内容大小大于预定的阈值的情况。
当所述内容显示信息是合适的时，处理前进到步骤S20。
相反，当所述内容显示信息不合适时，处理前进到步骤S22。
在步骤S20，所述内容显示信息被存储在显示信息存储部件107中。
在步骤S21，所述显示处理部件106执行处理，以按照所述内容显示信息，以叠加的方式在视频图像上显示内容。在步骤S23，作为外部设备的所述显示单元113显示带有叠加的内容的视频图像。接着，处理返回步骤S11。
在步骤S22，所述显示信息存储部件107中的内容显示信息被删除。接着，处理返回到步骤S11。
现在参考图3到6描述所述内容显示处理设备100执行的内容布局。在图3到6中，静止图像、内容布局区域的候选、以及所述内容区域的全部都假定为矩形，但也可以假定为圆形或其他形状。
图3是描述本发明的实施例1的内容显示处理设备的内容布局方法的图。图3(a)显示了所提取的图像的示例边界以及要以叠加的方式显示的内容示例。图3(b)显示了使能图3(a)中所示的内容的安置的三个候选区域。图3(c)显示了从图3(b)所示的三个候选区域中选择的区域中的内容显示区域。图3(d)显示了在图3(c)所示的内容显示区域显示的内容；
当图3(a)中所示的内容205和206被显示在包括边界202的静止图像201上时，所述内容布局部件105检测图3(b)中所示的三个候选区域204A、204B和204C。矩形区域203显示了内容205和206被显示的区域的大小。这三个候选区域204A、204B和204C与矩形区域203的宽高比是相同的。每个候选区域包括所述静止图像201的四个角中的至少一个，且不覆盖由边界202包围的主要显示对象。
所述内容布局部件105在三个候选区域204A、204B和204C之中选择具有最大面积的候选区域204A。另外，所述内容布局部件105按照预设的内容显示大小的上限值，在所选择的候选区域204A中确定图3(c)所示的区域204A’作为内容显示区域。当所述候选区域的大小小于原始的内容大小时，所述内容布局部件105可以在缩小的大小不变为小于预设的内容显示大小的下限值的范围内，缩小所述内容。当选择的候选区域的大小小于预设的阈值时，不在选择的区域内显示所述内容。
当确定了所述内容显示区域204A’的布局和大小时，所述内容布局部件105将所述布局和大小存储在显示信息存储部件107中作为内容显示信息。按照在所述显示信息存储部件107中存储的内容显示信息，所述显示处理部件106执行处理，以在所述内容被叠加到视频图像上的同时显示所述内容205和206，如图3(d)所示。
在图3(d)所示的示例中，所述两个内容205和206都被显示在内容显示区域204A’中。因此，当存在多个要显示的内容时，也可以在逐个内容的基础上执行前面的处理，也可以执行处理，以在每个不同的内容显示区域中显示内容。
现在，描述一种方法，其用于当作为在放置所述内容之后在视频图像中已出现变化的结果、所述主要显示对象的边界覆盖所述内容时，重新计算内容显示信息。
首先，参考图4来描述用于在将优先级赋予当前内容布局的同时重新计算内容显示信息方法。图4是描述在本发明的实施例1的内容显示处理设备中用于改变内容大小的方法的图。图4(a)是显示在重新计算之前实现的静止图像301的图。图4(b)是显示边界覆盖内容的静止图像301的图。图4(c)是显示内容被逐步缩小的静止图像301的图。图4(d)是显示在重新计算之后、内容图像被叠加到所述静止图像301上的图。
图4(a)显示了在重新计算之前实现的静止图像301的图。两个内容305和306在所述静止图像301的右上角被取作基准的同时被显示。当所述静止图像301从图4(a)变为图4(b)时，所述内容布局部件105重新计算所述内容显示信息，同时将优先级赋予所述内容布局。首先，由于所述内容305和306覆盖了所述图像的边界302，所以，所述内容布局部件105确定内容显示的区域是否能够逐步缩小到预设的阈值。
如图4(c)所示，当内容被缩小时，所述内容布局部件105逐步缩小内容显示候选区域304，直到所述内容305、306与所述图像的边界302之间的重叠消失。按照逐步缩小的候选区域304的大小，所述内容布局部件105重新计算内容显示信息。
如图4(d)所示，按照由所述内容布局部件105重新计算的内容显示信息，所述显示处理部件106执行处理，用于以叠加的方式在内容显示候选区域304上显示所述内容305、306。所述显示处理部件106将内容305和306叠加到所述视频图像上。所述显示处理部件106将覆盖了内容305和306的视频图像传送到作为外部设备的所述显示单元113。所述显示单元113显示从所述显示处理部件106传送的覆盖了内容305和306的视频图像。
虽然图4显示了所述静止图像301的右上角被用作缩小处理的基准点，但也可以使用内容的四个角中的至少一个或内容的中心作为缩小处理的基准。而且，当在内容305、306与所述图像的边界302之间不存在重叠时，确认所述内容是否能逐步放大到预设的阈值，且所述内容305、306可以被放大到内容可以被放大的大小。如在缩小处理的情况中那样，内容的四个角中的至少一个或内容的中心都可以用作放大处理的基准。
如上面提到的，存在这样的情况，其中，即使当所述内容布局部件105已在将优先级赋予当前的内容布局的同时重新计算了所述内容显示信息时，所述静止图像中的主要显示对象图像的边界仍覆盖所述内容。在这种情况下，考虑为了重新计算所述内容显示信息，所述内容布局部件105将改变(1)内容显示方法或(2)内容布局。
下面通过参考图5对内容显示方法被改变的情况(1)提供说明。图5是显示本发明的实施例1的内容显示处理设备的示例内容显示的图。具体地，将对即使当所述内容被逐步缩小到预设的阈值时、图像边界仍覆盖内容的情况提供说明。
在图5(a)所示的示例显示(1)中，所述内容布局部件105将所述内容405的透明度改变这样的程度，即，边界与静止图像401内的所述内容405重叠。在这种情况下，所述内容布局部件105将示出所述内容405的透明度的信息增加到示出所述内容405的布局和大小的内容显示信息中。随着与所述内容405重叠的边界量的增加，所述内容布局部件105增加所述内容405的透明度，由此使得所述内容405更透明。
当所述图像的边界402与内容405重叠到等于或大于所述阈值的程度时，所述内容布局部件105丢弃内容显示信息。可替换地，所述内容布局部件105也可以沿着所述图像的边界402来划分所述内容405，并将所述内容405放置在最大的区域内。
在图5(b)所示的示例显示(2)中，所述内容布局部件105将静止图像401内的所述内容405沿着不存在图像的边界402的方向移动。当所述内容405与图像的边界402的不重叠在不超过移动的预设量的上限值的程度内时，所述内容布局部件105重新计算内容显示信息。按照所述重新计算的内容显示信息，所述显示处理部件106执行处理，在所述内容被叠加到视频图像的同时，显示所述内容405。当所述重叠超过移动的预设量的上限值时，所述内容布局部件105丢弃关于正在被处理的静止图像401的内容显示信息。
在图5(c)所示的示例显示(3)中，当所述内容405的大小大于预设的阈值时，所述内容布局部件105将所述内容405放置在静止图像401中，同时，所述内容与图像的边界402的重叠被限幅，且所述内容显示信息被重新计算。按照所述重新计算的内容显示信息，所述显示处理部件106执行处理，以在所述内容被叠加到视频图像的同时显示所述内容405。当内容405’变为小于预设的阈值时，所述内容布局部件105丢弃所述内容显示信息，如图5(d)所示的示例显示(4)的情况那样。
下面参考图6(a)到6(d)描述对内容布局进行改变的情况。图6显示了表示在本发明的实施例1的内容显示处理设备中使用的内容显示方法的类型的图。
图6提供了关于这种情况的描述：当内容504被缩小到所述内容不与图像的边界502重叠时，所述内容504的大小变得小于预设的阈值。在图6中，通过将所述静止图像501的四个角作为基准，提供了关于这种情况的描述：对所述内容的布局进行改变。然而，所述基准不限于四个角。也可以分别取所述静止图像501的四条边上的任意点作为基准。
在图6(a)所示的示例显示(5)中，所述静止图像501中的内容504的大小小于预设的阈值。相应地，如图6(b)中所示的示例显示(6)的情况那样，通过取所述静止图像501的四个角作为基准，所述内容布局部件105生成具有与内容504相同的宽高比、且意欲用于显示所述内容504的候选区域504A、504B、504C和504D。各个候选区域的大小被设置为不与静止图像中的图像的边界502重叠。
如图6(c)所示的示例显示(7)的情况那样，所述内容布局部件105从显示所述内容504的候选区域504A、504B、504C和504D中选择具有最大面积的候选区域504D，作为实际显示内容的区域。按照所述候选区域504D的大小和位置，所述内容布局部件105重新计算内容显示信息，并确定内容显示信息。
如图6(d)所示的示例显示(8)的情况，所述显示处理部件106执行处理，以按照所述重新计算的内容显示信息，在所述内容被叠加到视频图像的同时显示内容505。所述显示单元113显示从所述显示处理部件106传送的视频图像。
如前面提到的，所述内容布局部件105重新计算内容显示信息，同时将优先级赋予当前的内容布局。即使当所述图像边界与所述内容重叠时，所述内容布局部件105仍通过改变(1)所述内容显示方法或(2)所述内容布局来重新计算所述内容显示信息。按照所述重新计算的内容显示信息，所述显示处理部件106执行处理，以在所述内容被叠加到视频图像上的同时显示内容。因此，即使当能够显示内容的区域依照视频图像的变化而变化时，实施例1的所述内容显示处理设备仍可以执行处理，以在不妨碍视频图像的重要部分的情况下显示有关视频图像的内容。
接下来参考图7，提供了关于这种情况的描述：通过将优先级赋予当前的内容大小，来重新计算内容显示信息。图7是描述本发明的实施例1的内容显示处理设备中的用于重新计算内容显示信息的方法的图。图7(a)是显示在重新计算之前实现的静止图像601的图。图7(b)是显示内容和图像边界相互重叠的所述静止图像601的图。图7(c)是显示内容和图像边界不相互重叠的所述静止图像601的图。图7(d)是在重新计算之后、内容图像被叠加到所述静止图像601上的图。
图7(a)显示了在重新计算之前实现的静止图像601。在取所述静止图像601的四个角中的右上角作为基准的同时，显示两个内容605和606。在图7中，所述静止图像601的右上角被用作缩小处理的基准点。
现在描述这样的方法，通过该方法，当所述静止图像601由于视频图像中发生变化而从图7(a)变为图7(b)时，所述内容布局部件105在将优先级赋予内容大小的同时重新计算内容显示信息。当所述静止图像701没有变化时，所述内容布局部件105根据当前内容显示信息重新计算所述内容显示信息。
如图7(b)所示，当图像的边界602与内容605和606重叠时，所述内容布局部件105移动内容605和606，以便防止图像的边界602与所述内容重叠，并重新计算所述内容显示信息，如图7(c)所示。当所述内容的移动量超过预设的上限值时，所述内容布局部件105在维持内容605和606的宽高比的同时，逐步缩小内容605和606，而不移动其。
所述内容布局部件105确认所述内容606和606是否能逐步缩小到预设的阈值。如图7(d)所示，所述内容布局部件105以图像的边界602不与内容605和606重叠的方式缩小所述内容605和606，由此重新计算所述内容显示信息。按照所述重新计算的内容显示信息，所述显示处理部件106执行处理，以便以叠加的方式在视频图像上显示所述内容605和606。
即使当可显示内容的区域根据视频图像的变化而发生变化时，重新计算操作使能处理的执行，该处理用于在所述内容被叠加到视频图像的同时显示内容，且不妨碍所述视频图像的主要显示对象。在图7中，所述静止图像601的右上角被用作为缩小处理的基准点。然而，所述内容605或606的四个角中的任意一个、或所述内容605或606的中心也都可以用作为缩小处理的基准。
如上面提到的，即使当在将优先级赋予当前的内容大小的同时重新计算内容显示信息时，图像边界有时也会与内容重叠。在这种情况下，为了计算所述内容显示方法，诸如下面提供的方法是可行的。
例如，在即使在内容已经被缩小到预设的阈值之后仍包括图像边界的情况下，所述内容布局部件105也改变内容布局。当即使在对所述内容布局做了改变之后、所述图像边界仍与内容重叠时，所述内容布局部件105丢弃当前的内容显示信息，且所述显示处理部件106执行处理，以便不在视频图像中显示内容。
而且，例如，所述内容布局部件105也可以通过按照内容与边界之间重叠的面积来改变内容的透明度，在静止图像上显示半透明的内容。当所述图像边界与内容重叠到等于或大于阈值的程度时，所述内容布局部件105丢弃内容显示信息。或者，所述内容布局部件105也可以沿着所述边界划分所述内容显示区域，并取最大的区域作为显示区域。
在实施例1中，当放大或缩小内容时、以及当在预定的范围内移动内容时，所述内容布局部件105也可以对存储在显示信息存储部件107中的内容显示信息、以及由所述内容布局部件105重新计算的内容显示信息进行插值。
在这种情况下，所述内容布局部件105从补充数据来准备内容显示信息。所述显示处理部件106执行处理，通过基于插值后的数据的内容显示信息，连续地显示的内容。当所述显示单元113按照基于插值后的数据的内容显示信息显示图片时，在所述图像边界和所述内容之间可能存在重叠。然而，这产生一个优势：用户变得更容易追踪内容。
如上面详细描述的，实施例1的所述内容显示处理设备检测这样的区域作为用于显示内容的空闲区域，所述区域包括从其除去构成视频图像的所述静止图像中的主要显示对象的区域中的静止图像的外边界。实施例1的所述内容显示处理设备执行处理，该处理用于：按照所检测的空闲区域确定由内容布局和内容大小构成的内容显示信息，并按照所述内容显示信息，以叠加的方式在视频图像上显示内容。结果，即使当可显示内容的区域根据视频图像的变化而出现变化时，也可以执行操作，以在不妨碍所述视频图像的重要部分的情况下，在视频图像上显示内容。
虽然实施例1已经通过将所述内容显示处理设备的示例应用用于能够接收数字广播无线电波的电视接收机来描述了本发明，但本发明不限于所述示例。本发明的所述内容显示处理设备也可以被应用到便携式游戏机、以及光盘播放器、硬盘播放器、便携式电话、PHS(个人手持电话系统)、PDA(个人数字助理)和个人计算机、以及成像设备，如数码相机和数字摄像机等。
通过典型为集成电路的LSI，来实现用于描述实施例的各个功能块。所述功能块也可被单独封装到单个芯片中或作为单个芯片实施，以便包括所述功能块的一些或全部。尽管将芯片实施为LSI，但根据集成度，芯片也被称为IC、系统LSI、super LSI、或ultra LSI。
用于实现集成电路的技术不限于LSI。所述集成电路也可以通过定制的电路或通用处理器实现。也可以利用可在LSI的制造之后被编程的FPGA(现场可编程门阵列)、或者使能LSI中的电路单元的连接和设置的重配置的可重配置处理器。
如果利用由于半导体技术的进步或衍生而产生的另一种技术、而出现集成被LSI所替代的电路的技术，则可通过使用所述技术而自然地集成所述功能块。生物学技术的应用等等也是可行的。
虽然本发明已经通过参考特定实施例被详细介绍，本领域的技术人员应该理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行不同的变更和修改。
本申请基于2008年9月2日提交的日本专利申请(日本专利申请2008-224590)，通过引用将其合并于此。
工业适用性
本发明可以被应用到内容显示处理设备和内容显示处理方法，其使得在不妨碍视频图像的重要部分的情况下，在内容被叠加到视频图像的同时显示所述内容。
附图标号和符号的描述
100  内容显示处理设备
101  内容获取部件
102  视频图像获取部件
103  图像处理部件
104  图像识别部件
105  内容布局部件
106  显示处理部件
110  网络
111  内容服务器
112  广播站
113  显示单元
201、301、401、501、601  静止图像
202、302、402、502、602  图像的边界
203  矩形区域
204A、204B、204C、304A、504A、504B、504C、504D  候选区域
204A’  内容显示区域
205、206、305、405、504、505、605、606  内容

Claims (8)

1.一种内容显示处理设备，包括：
视频图像获取部件，其获取由多个静止图像构成的视频图像；
内容获取部件，其获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述视频图像上；
图像处理部件，其从所述视频图像提取静止图像；
图像识别部件，其从由所述图像处理部件提取出的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；
内容布局部件，其根据所述图像识别部件检测出的区域，来确定指示所述内容的布局和大小的内容显示信息；以及
显示处理部件，其执行处理，以便根据由所述内容布局部件确定的内容显示信息，在所述内容被叠加到所述视频图像上的同时显示所述内容。
2.如权利要求1所述的内容显示处理设备，还包括：
显示信息存储部件，其存储所述内容显示信息；
其中，所述内容布局部件根据主要显示对象的位置或大小的改变，重新确定内容显示信息，同时维持由在显示信息存储部件中存储的内容显示信息指示的所述内容的布局或大小。
3.如权利要求1或2所述的内容显示处理设备，其中，所述图像处理部件对静止图像执行图像处理，以提取所述主要显示对象的边界。
4.如权利要求1所述的内容显示处理设备，还包括：
显示信息存储部件，其存储所述内容显示信息；
其中，所述内容显示信息包括关于所述内容的透明度的信息；以及
其中，所述内容布局部件根据主要显示对象的位置或大小的改变，来确定所述内容的透明度，同时维持由在所述显示信息存储部件中存储的内容显示信息指示的内容的布局和大小。
5.如权利要求1所述的内容显示处理设备，其中，当作为根据所述内容显示信息而将所述内容叠加到视频图像上的结果、所述主要显示对象与所述内容重叠时，所述显示处理部件执行处理，该处理用于显示不与所述主要显示对象重叠的内容的部分，以便叠加到所述视频图像上。
6.如权利要求2所述的内容显示处理设备，其中，所述内容布局部件基于在所述显示信息存储部件中存储的第一内容显示信息、以及由所述内容布局部件确定的第二内容显示信息之间的差异，来确定对第一内容显示信息和第二内容显示信息进行插值的第三内容显示信息；以及
其中，所述内容布局部件确定第三内容显示信息作为内容显示信息。
7.如权利要求1到6中的任一个所述的内容显示处理设备，其中，所述静止图像的形状是矩形；以及
其中，所述静止图像的外边界包括所述静止图像的四个角中的至少一个、或所述静止图像的四条边上的至少一点。
8.一种内容显示处理方法，包括：
获取由多个静止图像构成的视频图像；
获取要在所述视频图像上显示的内容，以便将所述内容叠加在所述视频图像上；
从所述视频图像提取静止图像；
从所提取的静止图像中检测区域，该区域包括所述静止图像的外边界的至少一部分、以及除了所述静止图像的主要显示对象之外的部分；
根据所检测的区域，来确定指示所述内容的布局和大小的内容显示信息；以及
根据所确定的内容显示信息，在所述内容被叠加到所述视频图像上的同时，在所述视频图像上显示所述内容。
CN2009801009053A 2008-09-02 2009-09-02 内容显示处理设备和内容显示处理方法 Pending CN102047654A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP224590/08 2008-09-02
JP2008224590 2008-09-02
PCT/JP2009/004317 WO2010026745A1 (ja) 2008-09-02 2009-09-02 コンテンツ表示処理装置及びコンテンツ表示処理方法

Publications (1)

Publication Number Publication Date
CN102047654A true CN102047654A (zh) 2011-05-04

Family

ID=41796929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801009053A Pending CN102047654A (zh) 2008-09-02 2009-09-02 内容显示处理设备和内容显示处理方法

Country Status (4)

Country Link
US (1) US20100259684A1 (zh)
JP (1) JPWO2010026745A1 (zh)
CN (1) CN102047654A (zh)
WO (1) WO2010026745A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179463A (zh) * 2011-12-20 2013-06-26 海尔集团公司 天气预报信息的查询方法和电视机
CN108234941A (zh) * 2016-12-09 2018-06-29 佳能欧洲股份有限公司 监控设备、监控方法及计算机可读介质
CN110826497A (zh) * 2019-11-07 2020-02-21 厦门市美亚柏科信息股份有限公司 一种基于最小距离法的车辆排重方法、装置及存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201101496D0 (en) * 2011-01-28 2011-03-16 Ocean Blue Software Television content adaptor
JP5820159B2 (ja) * 2011-06-21 2015-11-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP5532018B2 (ja) * 2011-06-27 2014-06-25 コニカミノルタ株式会社 端末装置、プログラムおよびリモート操作システム
US11308227B2 (en) 2012-01-09 2022-04-19 Visa International Service Association Secure dynamic page content and layouts apparatuses, methods and systems
US9661264B2 (en) 2012-06-01 2017-05-23 Nintendo Co., Ltd. Multi-display video communication medium, apparatus, system, and method
JP5901769B2 (ja) * 2012-07-20 2016-04-13 三菱電機株式会社 映像表示装置
WO2015011877A1 (ja) * 2013-07-26 2015-01-29 パナソニックＩｐマネジメント株式会社 映像受信装置、付加情報表示方法および付加情報表示システム
EP3029944B1 (en) 2013-07-30 2019-03-06 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
WO2015033500A1 (ja) 2013-09-04 2015-03-12 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
WO2015033501A1 (ja) 2013-09-04 2015-03-12 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
EP3125568A4 (en) 2014-03-26 2017-03-29 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
EP3125567B1 (en) 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
WO2016009637A1 (ja) 2014-07-17 2016-01-21 パナソニックＩｐマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
JP6432047B2 (ja) 2014-08-21 2018-12-05 パナソニックＩｐマネジメント株式会社 コンテンツ認識装置およびコンテンツ認識方法
US10573039B2 (en) * 2016-10-03 2020-02-25 Netflix, Inc. Techniques for incorporating a text-containing image into a digital image
EP3621039A1 (en) * 2018-09-06 2020-03-11 Tata Consultancy Services Limited Real time overlay placement in videos for augmented reality applications
JP7309656B2 (ja) * 2020-05-08 2023-07-18 ヤフー株式会社 配置プログラム、配置装置及び配置方法
JP2023511816A (ja) * 2020-07-29 2023-03-23 グーグル エルエルシー 非遮蔽ビデオオーバーレイ

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907095A (en) * 1987-04-16 1990-03-06 Fuji Photo Film Co., Ltd. Still image trimming apparatus
US5398074A (en) * 1992-11-24 1995-03-14 Thomson Consumer Electronics, Inc. Programmable picture-outside-picture display
US6088064A (en) * 1996-12-19 2000-07-11 Thomson Licensing S.A. Method and apparatus for positioning auxiliary information proximate an auxiliary image in a multi-image display
JPH11112949A (ja) * 1997-10-06 1999-04-23 Sanyo Electric Co Ltd データ多重送信器、データ多重受信器、およびそれらを用いたデータ多重送受信システム
US6473102B1 (en) * 1998-05-11 2002-10-29 Apple Computer, Inc. Method and system for automatically resizing and repositioning windows in response to changes in display
US6784945B2 (en) * 1999-10-01 2004-08-31 Microtune (Texas), L.P. System and method for providing fast acquire time tuning of multiple signals to present multiple simultaneous images
EP1258138A2 (en) * 1999-12-09 2002-11-20 Liberate Technologies Enhanced display of world wide web pages on television
US20020070957A1 (en) * 2000-12-12 2002-06-13 Philips Electronics North America Corporation Picture-in-picture with alterable display characteristics
US7206029B2 (en) * 2000-12-15 2007-04-17 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on video content analysis
GB0321083D0 (en) * 2003-09-09 2003-10-08 British Telecomm Video communications method and system
JP2007199311A (ja) * 2006-01-25 2007-08-09 Fujifilm Corp 画像表示装置及び撮像装置
US8098330B2 (en) * 2006-07-28 2012-01-17 International Business Machines Corporation Mapping of presentation material

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103179463A (zh) * 2011-12-20 2013-06-26 海尔集团公司 天气预报信息的查询方法和电视机
CN108234941A (zh) * 2016-12-09 2018-06-29 佳能欧洲股份有限公司 监控设备、监控方法及计算机可读介质
US11310469B2 (en) 2016-12-09 2022-04-19 Canon Kabushiki Kaisha Surveillance apparatus and a surveillance method for indicating the detection of motion
CN110826497A (zh) * 2019-11-07 2020-02-21 厦门市美亚柏科信息股份有限公司 一种基于最小距离法的车辆排重方法、装置及存储介质
CN110826497B (zh) * 2019-11-07 2022-12-02 厦门市美亚柏科信息股份有限公司 一种基于最小距离法的车辆排重方法、装置及存储介质

Also Published As

Publication number Publication date
US20100259684A1 (en) 2010-10-14
WO2010026745A1 (ja) 2010-03-11
JPWO2010026745A1 (ja) 2012-01-26

Similar Documents

Publication Publication Date Title
CN102047654A (zh) 内容显示处理设备和内容显示处理方法
US20180227344A1 (en) Mobile device displaying real time sports statistics
US7849482B2 (en) Intuitive electronic program guide display
CN110300316B (zh) 视频中植入推送信息的方法、装置、电子设备及存储介质
US8296456B2 (en) Systems and methods for displaying personalized media content
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US6486925B1 (en) Channel managing apparatus and method for digital/analog TV
US20050253966A1 (en) System for processing video signals
CN104053038A (zh) 基于用户在视频显示器特定部分上的聚焦处理视频信号
US20120057850A1 (en) Systems and methods for generating and embedding personalized media content
CN105763950A (zh) 一种弹幕显示方法及系统
US20120060095A1 (en) Systems and methods for generating personalized media content embedding images of multiple users
US20070057933A1 (en) Image display apparatus and image display method
KR20140055812A (ko) 컨텐츠의 재생을 제어하는 제어 장치 및 방법
MXPA05009704A (es) Metodo para ver documentos audiovisuales en un receptor y receptor para ver los documentos.
EP3099081B1 (en) Display apparatus and control method thereof
CN102918485A (zh) 内容控制方法及使用该内容控制方法的内容播放器
CN105430231B (zh) 图像处理装置和方法
US20100134513A1 (en) Pixel display device
KR20180000729A (ko) 디스플레이 장치 및 이의 제어 방법
CN1658660A (zh) 有线电视接收器从非模块调谐模式切换到模块调谐模式的方法和装置
US7936936B2 (en) Method of visualizing a large still picture on a small-size display
CN102099830A (zh) 通过平滑整个帧和覆盖保留细节改善压缩视频信号的质量的系统和方法
US9412016B2 (en) Display device and controlling method thereof for outputting a color temperature and brightness set
CN104754367A (zh) 一种多媒体信息处理方法及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20110504